Как сделать ИИ объяснимым в дизайне
Объяснимый искусственный интеллект, который до недавнего времени был предметом исследований, стал мейнстримом. Недавние исследования позволили получить представление о поведении моделей искусственного интеллекта, которые по своей сути являются черными ящиками, которые могут устранить существенные бизнес-риски, связанные с предвзятостью, соблюдением требований и непрозрачными результатами.
Однако многие платформы и решения предоставляют эти объяснения либо с помощью простых чисел через API, либо с помощью базовой визуализации данных, которые не подходят для бизнес-пользователей. Создание дизайна продукта, который использует объяснимость для упрощения ИИ и обеспечивает значимое понимание для всей команды, является сложной задачей.
В Fiddler мы стремимся создать универсальный пользовательский интерфейс, основанный на передовых исследованиях и масштабируемой инфраструктуре. Наш дизайн продукта упрощает принятие бизнес-решений с помощью интерфейсов, которые не только интуитивно понятны и интерактивны, но и обладают высокой скоростью реагирования.
Мы тесно сотрудничали с нашими клиентами, чтобы перебрать несколько версий дизайна, чтобы создать наш запатентованный бизнес-ориентированный дизайн объяснений, показанный ниже. Вот наш пример объяснения прогноза ссуды с высоким риском, сделанного с помощью табличной модели кредитования ИИ.
Давайте рассмотрим пронумерованные основные моменты ниже, чтобы понять, как этот дизайн помогает объяснить это предсказание ИИ.
(1) Вероятность прогноза, которую мы пытаемся объяснить (в данном случае 0,264 для ссуды с высоким риском), выделена в важном верхнем левом углу экран. С помощью этого раскрывающегося списка также можно интуитивно поддерживать прогнозы с несколькими метками.
(2) Справа отображается тип просматриваемого объяснения. В этом примере используется масштабируемый алгоритм значений Шепли Fiddler. Другие алгоритмы, такие как «Интегрированные градиенты», легко доступны здесь.
(3) Затем вы видите список входных значений модели для этого прогноза, который включает как непрерывные, так и категориальные входные данные. Расположение ползунка предоставляет значение этого ввода, чтобы помочь понять его контекст во всем наборе данных.
(4) Мы демонстрируем сами значения Шепли, используя визуализацию графика торнадо. «?» помогает бизнес-пользователям понять, как использовать эту визуализацию. Еще одним исследованным вариантом визуализации был график водопада, который был протестирован как менее интуитивный подход. Для текстовых моделей мы используем аналогичный график, который описывает влияние на уровне слов и позволяет анализировать сценарий, удаляя или добавляя слова, чтобы легко понять ключевые слова, влияющие на прогноз.
(5) Модели обычно могут иметь десятки или даже сотни входных данных. Быстрые фильтры выделяют самые важные входные данные о положительном и отрицательном воздействии, чтобы пользователи могли сосредоточиться на наиболее важных.
(6) Обычный следующий шаг - изменить некоторые входные значения и просмотреть соответствующее изменение в прогнозе модели. Это известно как контрфактический анализ или сценарии «что, если». Ползунки и раскрывающийся список позволяют пользователям быстро тестировать новые входные значения, чтобы лучше понять модель и укрепить доверие с ее механикой.
(7) Затем пользователь объяснит этот новый контрфактический сценарий, чтобы увидеть влияние нового значения Шепли и сравнить его с предыдущими. Это взаимодействие в реальном времени стало возможным благодаря запуску алгоритма Шепли с использованием 150 тыс. Предсказаний модели с задержкой, близкой к субсекундной.
(8) Операции с рисками и мошенничеством обычно работают с меньшим набором прогнозов помеченных моделей. Прогнозы аудита помогают быстро выявить те, с которыми они могут не соглашаться, чтобы их могла решить группа специалистов по анализу данных.
(9) Эти объяснения вместе с другой визуализацией можно скомпилировать и закрепить на информационных панелях, чтобы другие члены команды могли сотрудничать в процессе.
(10) Индивидуальные объяснения также можно легко передать другим заинтересованным сторонам бизнеса, операций, рисков и науки о данных.
Все эти компоненты объяснения взаимодействия с пользователем объединяются, чтобы обеспечить интуитивно понятное и удобное для бизнеса решение для понимания ИИ. Последняя функция аналитики Fiddler Slice and Explain построена на основе этого прогнозного объяснения, чтобы предоставить мощный комплексный пакет объяснений.
