Обзор трех различных инструментов оценки честности ИИ с открытым исходным кодом и сравнение набора функций

Если вы пропустили наши предыдущие публикации о VerifyML, ознакомьтесь со следующими статьями:

Библиотеки для оценки справедливости моделей являются важной частью набора инструментов специалиста по обработке и анализу данных — они используются во многих отраслях, от социальных сетей до фармацевтики и банков, для оценки предвзятости моделей.

При правильном использовании эти инструменты могут помочь организации внедрить справедливые и надежные модели, тем самым повысив доверие пользователей к системам ИИ. Хотя можно многое сказать о том, как такие инструменты развертываются и используются в бизнес-процессах, в этой статье основное внимание уделяется технической оценке различных доступных решений.

VerifyML, Fairlearn и AI Fairness 360

С помощью любого из этих трех инструментов с открытым исходным кодом компании могут начать оценивать свои модели в проверенных в боевых условиях библиотеках вместо того, чтобы разрабатывать индивидуальные инструменты оценки справедливости с нуля.

Давайте рассмотрим различные функции каждого набора инструментов и поймем, как их можно использовать.

VerifyML
Для начала у нас есть собственный VerifyML, победившее решение Global Veritas Challenge. VerifyML – это платформа управления и библиотека Python, которые объединяют команды, работающие с данными, продуктами и соблюдением нормативных требований, на протяжении всего жизненного цикла разработки ИИ.

Fairlearn
Запущенный командой Microsoft в 2018 году как пакет Python с алгоритмами для смягчения несправедливости в моделях классификации, Fairlearn с тех пор расширился до оценки справедливости инструментарий и в настоящее время является проектом, управляемым сообществом.

AI Fairness 360
AI Fairness 360 (AIF360) от IBM — это расширяемый набор инструментов, который помогает командам исследовать, сообщать и устранять дискриминацию и предвзятость в моделях машинного обучения. на протяжении всего жизненного цикла приложения ИИ. Он является частью проверенного набора продуктов IBM для искусственного интеллекта, который включает в себя Объяснимость ИИ 360 и Информационные бюллетени 360.

Для простоты мы сравним эти решения по трем различным аспектам:

  • Отображение результатов
  • Покрытие мер справедливости
  • Стратегии смягчения последствий

Отображение результатов

VerifyML

VerifyML рассматривает каждое соображение справедливости как тест, и пользователь должен указать используемую метрику и допустимый порог. Для каждого теста автоматически создается описание, указанный пользователем порог и результат теста.

Каждый результат теста также сопровождается сравнительной диаграммой, показывающей, как обстоят дела у неблагополучной группы по сравнению с другими подгруппами. Подходя к справедливости как к тестам, VerifyML помогает пользователям избежать непреднамеренных предубеждений. Это дает пользователям понять, оправдались ли их ожидания, и возможные области, в которых можно применить стратегии смягчения последствий.

Fairlearn

Fairlearn также позволяет пользователю указать чувствительный атрибут и показатели, которые ему интересно сравнить. Это создает сравнительный график различных показателей по группам.

Выдающейся особенностью пакета является интерактивная панель инструментов, которая предоставляет хорошую сводку различных показателей справедливости. Можно выбрать различные чувствительные функции или показатели производительности и посмотреть, как изменится сравнение. Пользователь должен решить, действительно ли эти показатели и результаты имеют значение для его конкретного варианта использования в бизнесе.

Справедливость ИИ 360

AIF360 использует подход, аналогичный VerifyML, и позволяет пользователю настраивать пороговое значение и результат теста. В отличие от VerifyML, он не позволяет пользователям изменять пороговые значения для разных тестов, например. установление порогового значения 1,5 для одного теста с учетом возраста и 1,3 для другого теста с учетом пола. Это важная функция, так как разумный порог различается в зависимости от контекста и должен быть оставлен для настройки пользователями.

AIF360 также поставляется с яркой приборной панелью как часть студии Watson. В целом, несмотря на то, что исходный код метрик и алгоритмов находится в открытом доступе, полный комплексный рабочий процесс ответственного управления ИИ является частью основного предложения IBM по ИИ.

Покрытие мер справедливости

Справедливость по существу оспаривается, и надлежащая мера справедливости часто зависит от контекста. Хотя решение о том, что в конечном счете справедливо, а что нет, лежит на пользователе, инструментарий должен предоставлять широкий спектр мер справедливости, чтобы помочь пользователям в их обосновании. В этом разделе мы оцениваем наборы инструментов на основе их поддержки различных показателей эффективности и результатов справедливости.

В разделе метрик производительности все 3 инструментария предоставляют основные метрики, используемые в задачах бинарной классификации, таких как процент ложноположительных результатов, коэффициент ложноотрицательных результатов и коэффициент выбора.

VerifyML и Fairlearn также поддерживают метрики для регрессионных проблем, таких как MSE и MAE, которые AIF360 в настоящее время не предоставляет.

Поддержка проблем мультиклассификации и других проблем обучения без учителя отсутствует во всех трех решениях. Специалистам по данным в настоящее время придется обращаться к другим автономным пакетам, чтобы найти подходящие решения для этих проблем.

Что отличает VerifyML от остальных, так это охват тестов честности. Наиболее распространенным тестом, используемым в инструментах справедливости, является тест на несоответствие. Короче говоря, он вычисляет разницу/соотношение показателей производительности любых двух подгрупп и оценивает, находится ли одна группа в невыгодном положении по сравнению с другой.

В то время как все 3 инструментария обеспечивают тест на несоответствие, VerifyML также предоставляет дополнительные тесты (более подробная информация на изображении выше). Давайте быстро погрузимся в тест минимального/максимального порога метрики и поймем, почему важны альтернативные меры справедливости. Этот тест проверяет, превышает ли показатель справедливости подгрупп указанный минимальный/максимальный порог.

Например, давайте предположим, что банк в настоящее время использует основанный на правилах подход к модели обнаружения мошенничества, который имеет уровень ложных срабатываний 2,5%. Банк заинтересован в развертывании новой модели искусственного интеллекта. Мы можем использовать этот тест в этом сценарии, чтобы убедиться, что всем клиентам будет лучше в новой модели ИИ, чем в модели, основанной на правилах. Установив максимальное значение FPR на уровне 2,5% с помощью порогового теста, тест будет пройден только в том случае, если FPR каждой подгруппы ниже этого значения. В этом случае нас, вероятно, меньше беспокоит несоответствие между подгруппами, поскольку новая модель работает лучше.

С другой стороны, два других инструментария не предлагают много вариантов оценки, кроме теста на несоответствие.

Если вам интересно узнать больше о доступных тестах в VerifyML, обратитесь к нашему репозиторию Github.

Стратегии смягчения последствий

В рамках инструмента оценки для повышения справедливости в существующей модели шаги по смягчению последствий могут быть предприняты на 3 этапах конвейера обработки данных:

  • Предварительная обработка данных
  • Построение модели
  • Постобработка модели

Простая стратегия смягчения может заключаться в удалении защищенного атрибута из модели, что может привести к потенциальному компромиссу между производительностью и справедливостью.

В настоящее время VerifyML обеспечивает оптимизацию пороговых значений (как часть минимального/максимального порогового теста) и проверку важности стройных функций в рамках стратегий смягчения последствий.

Два других набора инструментов предоставляют более надежный набор инструментов для стратегий смягчения последствий несправедливости. Некоторые из стратегий включают в себя повторное взвешивание, состязательное устранение смещения, удаление корреляции и моделирование экспоненциального градиента. Несмотря на то, что встроенные средства смягчения последствий предоставляют пользователям готовое решение, выбор оптимального подхода к устранению проблемы остается за пользователями.

Все 3 инструментария позволяют легко сравнивать исходную модель и улучшенную модель. Например, Fairlearn имеет панель сравнения моделей, которая отображает компромиссы справедливости между моделями, а VerifyML предоставляет как функцию Python для создания отчета о сравнении моделей, так и веб-приложение для сравнения моделей.

Сводка

В этой таблице представлена ​​краткая сводка по 3 наборам инструментов с анализом того, как они отображают результаты справедливости, охват методов и стратегий смягчения последствий.

Сравнение также показывает, как различные решения могут дополнять друг друга. Первоначальный обзор различных показателей может быть создан с помощью Fairlearn; методы смягчения последствий, взятые из AIF 360; и наборы тестов, созданные с использованием платформы VerifyML.

С помощью VerifyML мы стремимся упростить для предприятий внедрение справедливых рабочих процессов ИИ поверх нашего решения с открытым исходным кодом. В рамках этого мы улучшаем рабочий процесс групп обработки данных, автоматически генерируя модельную документацию и оповещения с помощью Github Actions. Поскольку в управлении рисками модели участвуют несколько заинтересованных сторон, мы также работаем над решениями без кода, чтобы команды могли эффективно сотрудничать и делиться информацией на протяжении всего цикла выпуска модели.

Не стесняйтесь обращаться к репозиторию Github по техническим вопросам или через нашу страницу Свяжитесь с нами, если вы хотите сотрудничать с нами в проверке концепций.