Доверяйте, объясняйте и управляйте искусственным интеллектом в любом масштабе

Доверие к ИИ, предвзятость и объяснимость моделей являются важной частью бизнес-головоломки, помогающей организациям вывести проекты ИИ из стадии разработки и запустить их в производство в масштабе. Предвзятость ИИ и объяснимость модели помогают обеспечить справедливые и непредвзятые результаты, а также вселяют в владельцев бизнес-процессов уверенность в способности ИИ улучшить процесс принятия решений. В то же время он обеспечивает надежную основу для обеспечения соответствия ИИ корпоративным политикам и нормативным требованиям.

Краткий опрос показал, что заинтересованные стороны бизнеса имеют смешанные и запутанные отзывы об их доверии к приложениям ИИ по разным причинам:

  • 94% компаний считают, что ИИ является ключом к конкурентному преимуществу.
  • 60% считают нормативные ограничения барьером для внедрения ИИ.
  • 63 %называют наличие технических навыков проблемой при внедрении
  • 5% компаний широко внедрили ИИ в предложения или процессы.

Кроме того, среди владельцев бизнеса широко известно, что существуют проблемы, связанные с предвзятостью и объяснимостью:

  • Очень сложно отследить и измерить показатели успеха бизнеса в производстве.
  • Невозможно обучить тонкому знанию предметной области в моделях ИИ в производственной среде.
  • Невозможно проверить, принесут ли модели ИИ ожидаемые бизнес-результаты.
  • Риск нарушения нормативных требований и требований корпоративного управления

Watson OpenScale достигает этих целей, сосредотачиваясь на 4 этапах жизненного цикла приложения ИИ: сборка, запуск, управление и операции в приложении.

Во время сборки специалисты по данным используют предпочитаемые ими популярные платформы и инструменты с открытым исходным кодом, получая при этом доступ к наборам инструментов для обнаружения предвзятости и объяснимости транзакций.

Затем группы разработки и эксплуатации масштабируют приложения ИИ и управляют ими, используя существующие инструменты и процессы DevOps в среде выполнения.

В результате бизнес-пользователи могут измерять и отслеживать результаты отдельных рабочих процессов ИИ для целей аудита и регулирования.

Watson OpenScale помогает доставлять и использовать надежные приложения ИИ для бизнес-пользователей в любом масштабе:

  1. Отслеживайте и измеряйте бизнес-результаты в рабочей среде

а. Определите ключевые показатели эффективности бизнеса и внесите их в существующие бизнес-приложения для измерения влияния на бизнес
b. Определить контракт приложения для оценки моделей ИИ во время сборки и получить метрики для отслеживания во время выполнения
c. Полезные метрики и оповещения с помощью анализа ошибок и описательной аналитики полезной нагрузки во время выполнения

2. Соблюдайте нормативные требования и управляйте искусственным интеллектом в производственной среде

а. Моделирование бизнес-условий с помощью операционных данных, проверка и утверждение моделей ИИ для производства
б. Отслеживайте и объясняйте решения ИИ для полного аудита нескольких моделей в приложении
c. Обнаружение и устранение предвзятости с помощью искусственного интеллекта во время выполнения, чтобы обеспечить справедливые результаты

3. Адаптируйте ИИ к меняющейся деловой ситуации в производственной среде

а. Собирайте отзывы с помощью существующих бизнес-приложений, чтобы обучать ИИ во время выполнения
б. Выявляйте отклонение в бизнес-ситуациях, предупреждайте пользователей и инициируйте действия для смягчения последствий.

в. Автоматически запускайте конвейеры переобучения моделей с помощью конкретных входных данных из аналитики полезной нагрузки для достижения бизнес-целей и адаптации к новым данным.

Расширенное управление моделями с помощью Watson Openscale

Показательный пример. Банк был оштрафован за неравное обращение с клиентами, принадлежащими к меньшинствам. Миноритарным клиентам выдавалось меньше кредитов и взималась более высокая процентная ставка.

Как Watson Openscale может помочь смягчить эту предвзятость в данном случае при разработке модели?

Шаг 1. Мониторинг прогнозов, производительности и точности моделей

Openscale предоставляет панель инструментов, которая отображает точность модели. Точность модели определяется с использованием стандартных подходов к оценке модели (различных для разных типов моделей).

Шаг 2.Объясните предсказания модели

Мы можем использовать функцию объяснимости, чтобы понять, почему делаются определенные прогнозы. Двумя основными компонентами объяснимости являются:

Важность предиктора: какие факторы/предикторы влияют на прогноз.

Статистическая значимость. Определите статистическую значимость каждого предиктора.

Констративное объяснение: какие функции нам нужно изменить, чтобы контролировать прогноз.

Шаг 3. Отслеживайте неверные прогнозы и автоматически исправьте их

я. Определите защищенные поля: обычно демографические данные о клиенте, такие как раса, возраст, пол, сегмент населения.

II. Определите контекст: количество записей, которые будут использоваться для определения порога, т. е. оценивать каждые 100 утверждений или каждую 1000 заявок на получение кредита.

III. Определите порог для предвзятости, определяемый как процент одобрений меньшинства по сравнению с одобрениями большинства. При желании OpenScale может «устранить смещение» модели, т. е. автоматически исправить результаты:

  • Непредвзятые результаты автоматически регистрируются в базе данных в дополнение к результатам оценки модели.
  • Непредвзятые результаты не обязательно использовать в производстве — их можно использовать для обзора или аудита.

Автоматическое устранение смещения

Описание

Модели, внедренные в производство, должны принимать справедливые решения и не могут быть предвзятыми в своих рекомендациях. Те, которые демонстрируют предвзятость, необходимо исправить, не вмешиваясь в текущий путь прогнозов к применению.

Как это работает?

  • Учитывая входную запись, мы отправляем ее в модель обнаружения смещения, чтобы выяснить, может ли модель действовать предвзято в этой записи.
  • Как только мы определили запись, для которой модель, вероятно, будет предвзятой, мы исправим ее, изменив прогноз.
  • Auto-debias обучает теневую модель, работающую в фоновом режиме, для создания доверия перед развертыванием в рабочей среде.

Большинство отраслей используют ИИ с учетом предвзятости модели ИИ, объяснимости модели и доверия.

Предложение ценности

  1. Настройка устранения смещения для работы вместе с текущей развернутой моделью, это обеспечивает выходные данные без смещения, не влияя на текущие прогнозы, которые обслуживаются.
  2. Визуализация непредвзятого вывода в пользовательском интерфейсе, выполнение действий по изменению наборов данных на основе рекомендаций и переобучение модели с новым набором данных.
  3. Использование автоматически сгенерированной конечной точки модели без смещения для оценки входных данных

Отраслевые варианты использования модели смещения и объяснимости

Варианты использования Watson Openscale в масштабах всей отрасли, от телекоммуникаций до финансовых услуг и здравоохранения:

1. Телекоммуникации: профилактическое обслуживание

Эффективное обслуживание физических активов и инфраструктуры имеет важное значение для телекоммуникационной отрасли — сбой активов может привести к перебоям в обслуживании, что является основной причиной оттока клиентов. Приоритизация технического обслуживания — это дорогостоящий и сложный процесс, и часто бывает сложно обнаружить сбой активов в полевых условиях до того, как он приведет к проблеме в сети. Машинное обучение дает возможность прогнозировать сбой на основе данных датчиков до того, как возникнет проблема.

Прогнозное обслуживание сетевой инфраструктуры может предотвратить простои, которые приводят к дорогостоящему оттоку клиентов, но обучение модели на исторических данных об активах затруднено, поскольку сбои, как правило, случаются редко — обучение прогнозной модели может занять много времени, и даже после обучения она может не точно действовать во всех сценариях отказов

Функции мониторинга Watson OpenScale runtime позволяют командам отслеживать производительность своих моделей в полевых условиях на основе реальных данных, чтобы обеспечить постоянную производительность — и при необходимости направлять переобучение. Функции отслеживания OpenScale также помогают инженерам и техническим специалистам собирать информацию, критически важную для контрольного журнала, поэтому организация может легко связать действия по профилактическому обслуживанию, предпринимаемые в соответствии с моделью, с ключевыми бизнес-результатами, такими как предотвращение сбоев и повышение удовлетворенности клиентов. .

2. Страхование: моделирование рисков андеррайтинга

Ландшафт рынка страховой отрасли становится все более конкурентным. Компании пытаются оптимизировать свои процессы с помощью науки о данных и искусственного интеллекта, а андеррайтинг страховых компаний является главной целью для анализа данных, полученных с помощью искусственного интеллекта. Традиционные методы андеррайтинга основаны на сложных процессах, основанных на правилах, и дорогостоящем ручном анализе, в то время как модели машинного обучения могут анализировать сложные взаимодействия между разнообразными данными для оценки рисков.

Модели оценки рисков, обученные на исторических данных о клиентах и ​​претензиях, могут помочь андеррайтерам принимать более последовательные и точные решения. Эти модели могут предоставлять ценовые предложения для отдельных клиентов на основе различных функций в их профиле.

Функции объяснимости Watson OpenScale позволяют андеррайтерам и регулирующим органам видеть точные функции, приоритетные для этих моделей оценки рисков, для каждого решения. Во время аудита Департамента страхования уполномоченные могут просматривать модель происхождения, входные и выходные данные для каждого решения на удобном для бизнеса языке. Его функции обнаружения и устранения предвзятости помогают андеррайтерам гарантировать, что эти модели продолжают принимать справедливые решения после их развертывания.

3. Финансовые услуги: моделирование кредитных рисков

Традиционные кредиторы вынуждены расширять свой цифровой портфель финансовых услуг для более широкой и разнообразной аудитории, что требует нового подхода к моделированию кредитных рисков. Чтобы предоставить доступ к кредитам более широкому и более рискованному населению, кредитная история соискателей должна выходить за рамки традиционных кредитов, таких как ипотечные кредиты и автокредиты, и включать альтернативные источники, такие как история платежей за коммунальные услуги и тарифные планы сотовой связи, а также образование и должности.

Эти дополнительные функции увеличивают вероятность неожиданных корреляций, которые вносят предвзятость в зависимости от возраста, пола и других личных качеств заявителя. Методы обработки данных, наиболее подходящие для этих разнообразных наборов данных, могут создавать высокоточные модели риска, но за это приходится платить — такие модели представляют собой черные ящики, внутреннюю работу которых нелегко понять.

Банки и кредитные союзы должны иметь возможность проверять свои модели кредитного риска на предвзятость не только во время обучения, но и после того, как эти модели будут развернуты. И чтобы соответствовать таким правилам, как Закон о равных кредитных возможностях, они должны быть в состоянии объяснить, почему их модели принимают индивидуальные кредитные решения.

Функции Watson OpenScale для обнаружения и устранения предвзятости позволяют специалистам по управлению рисками и управлению отслеживать предвзятость в своих моделях во время выполнения. А поддержка объяснимости Watson OpenScale предоставляет кредитным специалистам и кредитным аналитикам пост-фактум объяснения для модельных решений, которые обеспечивают высокую точность моделирования кредитного риска.

4. Цепочка поставок: эффективное прогнозирование спроса

Эффективное прогнозирование спроса необходимо для снижения эксплуатационных расходов при одновременном удовлетворении потребительского спроса, но это очень сложно. Компании не в состоянии справиться с объемом и разнообразием данных, необходимых для учета изменений спроса в режиме реального времени. Прогнозы, которые не могут адаптироваться к постоянно меняющимся переменным на современном рынке, могут привести к многомиллионным просчетам, серьезно подорвав прибыль компании.

Специалисты по прогнозированию спроса должны постоянно отслеживать производительность своих развернутых моделей, чтобы предотвратить просчеты, которые могут стоить их организациям миллионов долларов упущенной выгоды. Данные, на которые опираются эти модели, не являются стационарными, и статистические свойства их распределений будут меняться по мере поступления новых фактических данных.

Функции Watson OpenScaleмониторинга во время выполнения позволяют специалистам по планированию спроса отслеживать производительность своих развернутых моделей в производственной среде, чтобы гарантировать точность и выявлять искаженные результаты и неотъемлемую необъективность данных.

5. Здравоохранение: прогнозирование исхода болезни

Конкретные заболевания настолько сложны, что их трудно выявить на ранней стадии, поскольку их симптомы совпадают с симптомами других распространенных заболеваний. Смертность от диагноза определенного заболевания увеличивается каждый час, когда лечение откладывается, поэтому для врачей и медсестер крайне важно иметь возможность выявлять их до того, как у пациентов наступит шок от болезни. Возможность выявить тех пациентов, которые подвергаются наибольшему риску, может помочь клиницистам расставить приоритеты в лечении. Модели машинного обучения можно обучать на данных о госпитализации и данных о пациентах, чтобы выявлять пациентов с высоким риском и прогнозировать исходы смерти. Алгоритмы и методы, используемые для построения точных моделей, таких как деревья с градиентным усилением XGBoost, иногда ведут себя как черные ящики.

Функции объяснимости Watson OpenScale обеспечивают разбивку конкретных характеристик пациентов и госпитализаций, которые влияют на решение для каждого сделанного прогноза. Эти результаты отображаются на языке, который могут понять врачи, ухаживающие за пациентом, что повышает их доверие к прогностическим моделям и помогает им принимать более обоснованные решения. OpenScale также предоставляет функции отслеживания и мониторинг во время выполнения, поэтому в больнице есть контрольный журнал для всех принимаемых решений по уходу за пациентами и может отслеживать эффективность этих моделей с течением времени.

Отказ от ответственности. Высказанные здесь взгляды принадлежат авторам статьи и могут отражать или не отражать взгляды корпорации IBM. Часть контента в блоге защищена авторским правом, и все права защищены, но, если иное не указано в корпорации IBM (например, фотографии, изображения).