Предвзятость и алгоритмическая справедливость

Новая ответственность современного бизнес-лидера в дивном новом мире, где правят данные.

По мере того, как Data Science движется по кругу ажиотажа и становится бизнес-функцией, растут и проблемы, с которыми сталкивается дисциплина.

Постановка проблемы для науки о данных за последние несколько лет изменилась от «мы тратим 80% времени на подготовку данных» через «производственное развертывание - самая сложная часть науки о данных» до «отсутствия измеримого воздействия на бизнес».

Но по мере того, как коммерческая наука о данных становится бизнес-функцией и преодолевает первые проблемы, мы сталкиваемся с новыми сложными формулировками проблем:

  • Этика данных
  • Модель интерпретируемости и подотчетности
  • Алгоритмическая справедливость.

Хотя специалисты по обработке данных и руководители предприятий могут во многом полагаться на технологические достижения для решения первых проблем, связанных с наукой о данных, было бы неправильно надеяться, что технологии решат эти новые проблемы в одиночку.

Мое личное признание состоит в том, что я слишком долго был наивен в отношении того, как я использую данные, и довольно заблуждался в том, как обращаться с ними. Я не могу остаться наедине с этим признанием?

Это не будет всестороннее обсуждение темы с академической и юридической точек зрения, это будет личная документация о моем опыте и путешествии. Чтобы получить более подробное представление о юридических последствиях справедливости и подотчетности в ИИ, я рекомендую следовать доктору Сандре Вахтер и прочитать, например, Право на разумные выводы: переосмысление закона о защите данных в эпоху больших данных и ИИ. ”

Черного ящика больше нет?

Я столкнулся с первой проблемой в моем понимании роли науки о данных, когда угасающая шумиха больше не могла служить оправданием черного ящика машинного обучения. Интерпретируемость модели вошла в мое мышление с неожиданного направления: мои заинтересованные стороны. Заинтересованные стороны больше заботились о детальной работе моделей, чем большинство специалистов по данным! Это не значит, что я не знал о черном ящике, но я имел дело с ним, исходя из мыслей о снижении риска. (Перекрестная проверка, всестороннее тестирование входных и выходных данных модели, ведение журнала и мониторинг, ограничения на использование модели, добросовестность, быстрая ошибка и попытка еще раз…)

Я видел и до сих пор рассматриваю науку о данных как эксперименты в производстве. Но если раньше я думал, что «черный ящик» нуждается только в гарантиях, чтобы предсказания имели смысл, теперь я понимаю, почему некоторая интерпретируемость модели желательна не только для подотчетности, но и для реальной уверенности в том, что предсказания имеют смысл. Чтобы ограничить искусственную глупость черного ящика машинного обучения, нам нужна интерпретируемость модели, чтобы определить, когда безопасно оценивать корректные входные данные, а когда лучше не оценивать, то есть ранее невидимые входные данные.

ML хорошо подходит и эффективен для интерполяции пространства решений. К сожалению, слишком легко и заманчиво использовать машинное обучение для экстраполяции решений на небезопасные территории новых и невидимых данных, которые никогда не были частью обучения модели и ее проверки.

В то время как черный ящик машинного обучения стал лишь серым ящиком в моей повседневной работе, интерпретируемость моделей придала мне необходимой уверенности и улучшила нашу способность сдерживать искусственную глупость, сохраняя наши модели в рамках хорошо понятных гарантий. Это означает, что иногда лучше не давать оценку.

Очень простой, но чрезвычайно эффективный способ добиться этого - подобрать независимую модель гауссовского смешения к вашим обучающим данным для определения доверительных границ вашего пространства решений. Если входные данные вашей модели не находятся в пределах достоверности вашего GMM, просто не возвращайте выходные данные модели.

На данный момент я надеюсь, что интерпретируемость моделей будет в дальнейшем решаться научными и техническими достижениями в области науки о данных, с одной стороны, и мне комфортно брать на себя ответственность за интерпретируемость моделей как специалист по данным, с другой стороны.

Предвзятость

В то время как интерпретируемость модели является обязанностью самой коммерческой функции науки о данных, этика данных и алгоритмическая справедливость не могут принадлежать только науке о данных! Почему? Потому что честные модели - это компромисс с точными моделями, и достижение этого баланса подразумевает, что ответственность за него возлагается на высшее руководство. Надеюсь, когда вы дойдете до резюме в конце статьи, это станет более понятным.

Реальность такова, что любая точка данных, созданная или полученная на основе человеческого поведения, по своей сути испорчена кажущимся бесконечным списком наших человеческих предубеждений. Просто чтобы назвать несколько:

Внутригрупповой фаворитизм и чужой негатив: предпочтение людей из нашей социальной группы по сравнению с предвзятым отношением к наказанию или возложению бремени на чужую группу. Предубеждения, которые играют важную роль в предрассудках и дискриминации.

Фундаментальная ошибка атрибуции: когда мы склонны приписывать чье-то поведение внутреннему качеству его характера, а не ситуационному контексту.

Негативное предубеждение: когда мы делаем упор на отрицательный опыт, а не на положительный, что оказывает важное влияние на социальные суждения и формирование впечатления.

Стереотипы: когда мы ожидаем, что член группы будет обладать определенными характеристиками, не имея реальной информации об этом человеке.

Эффект победителя: когда мы делаем что-то или верим во что-то, потому что так делают многие другие люди.

Слепое пятно предубеждений: наша склонность не замечать собственных предубеждений.

Все наши данные необъективны, потому что мир необъективен.

Устранение предвзятости в мире выходит за рамки должностных обязанностей специалиста по данным. Однако не закреплять существующие предубеждения с помощью моделей машинного обучения - это математическая проблема, которая быстро переходит от простого морального обязательства к требованиям работы современного специалиста по данным.

Устранение предвзятости в науке о данных - чрезвычайно сложная тема, и, самое главное, не существует универсальных решений или серебряных пуль. Прежде чем любой специалист по обработке данных сможет работать над устранением предвзятости, нам необходимо определить справедливость в контексте нашей бизнес-проблемы, обратившись к следующему дереву справедливости:

Навигация по дереву справедливости в соответствии с вашей бизнес-проблемой - непростая задача. В качестве примера (адаптированного из здесь) представьте, что вы хотите разработать некоторую систему машинного обучения для обработки заявок на ипотечную ссуду, и лишь небольшая часть заявок поступает от женщин.

  1. Выбор группы без ведома: мы просто игнорируем информацию о поле в процессе подачи заявки. Поскольку существует ограниченное количество возможных разрешений, которые может предоставить кредитор, они переходят к наиболее квалифицированному лицу на основе объективных, нейтральных с гендерной точки зрения критериев. Но удаление гендерной и косвенной информации не устраняет исторические предубеждения и, как правило, не является очень эффективным процессом для смягчения предвзятости, как мы увидим ниже в рабочем примере с данными переписи населения США.
  2. Скорректированные групповые пороги: поскольку исторические предубеждения делают женщин менее достойными кредита, чем мужчины, например история работы и обязанности по уходу за детьми, мы используем разные пороги утверждения для каждой группы.
  3. Демографический паритет. Показатели одобрения должны отражать процентную долю заявок по группам. Но при этом не будет учитываться риск дефолта по ипотеке.
  4. Равные возможности. Ипотечные ссуды выдаются одинаковому проценту мужчин и женщин, достойных ссуды. Это, кажется, соответствует бизнес-цели ипотечного кредитора и кажется справедливым. Лица, которые соответствуют требованиям к желаемому результату, должны иметь равные шансы быть правильно классифицированными по этому результату. (Мориц Хардт)
  5. Точный паритет: отказ в предоставлении ссуд может иметь очень негативные последствия для человека. При равных возможностях обе группы имеют истинный положительный паритет. Но если модель неверна в два раза чаще, когда женщины не возвращают свои ссуды (ложноотрицательный результат), то модель отклоняет вдвое больше женщин, достойных ссуды, чем мужчин. Таким образом, модель должна быть настроена так, чтобы процент случаев, когда модель ошибалась, в общем количестве утверждений и отказов был одинаковым для обеих групп. Точность паритета - это также то, что предлагает Древо справедливости (Ошибка ›Штрафные санкции› Небольшие объемы вмешательства).

Алгоритмическая справедливость

Определение подходящего определения справедливости - это только первый шаг. Следующим шагом является выбор подходящей стратегии смягчения предубеждений. Опять же, снижение предвзятости - сложная тема, и, опять же, нет универсального подхода или серебряной пули. На следующей диаграмме показаны 3 основные категории стратегий смягчения последствий и существующие реализации в наборе инструментов IBM AIF360:

ИИ, которому доверяют IBM, - отличный ресурс для получения более подробной информации: https://www.research.ibm.com/artificial-intelligence/trusted-ai/

Состязательное устранение смещения с помощью TensorFlow 2.0 - пример

Чтобы подчеркнуть проблемы, связанные с предвзятыми данными, и то, что ученые могут с этим сделать, мы рассмотрим набор данных переписи населения США 1994 года.

Целью является модель классификации, чтобы предсказать, зарабатывает ли человек более 50 тысяч долларов в год. Проблема носит фундаментальный характер (гендерный разрыв в оплате труда, дискриминация и т. Д.), И набор данных включает конфиденциальные данные: раса и пол. Следовательно, мы удаляем эти конфиденциальные данные из входных данных модели, пытаясь создать групповой классификатор, не имеющий информации о них. На следующей диаграмме показана архитектура NeuralNetwork, которую мы используем для нашей задачи:

В архитектуре используется нейронная сеть кодировщика для создания общих встраиваемых данных, которые питают 3 нейронные сети классификации, предназначенные для прогнозирования заработной платы, пола и расы человека.

В первом раунде мы не используем какие-либо состязательные градиенты и обучаем модель как стандартный многоголовый классификатор, чтобы увидеть, насколько успешна наша попытка групповой неосведомленности. Следующая диаграмма показывает производительность модели после 20 эпох:

Ясно, что удаление конфиденциальных данных не означает, что наша модельная группа не знает об этом. По оставшимся данным мы прекрасно можем предсказать пол и расу. Это совсем не удивительно, поскольку наша проблема также исторически предвзята, и конфиденциальные данные коррелируют со всеми другими функциями, например образование, выбор карьеры и т. д.

Мы будем использовать враждебную нейронную сеть, чтобы удалить любую информацию о расе или поле из общедоступных встраиваемых данных. Пользовательский цикл обучения для TensorFlow 2.0 обучает руководителей NN в течение 4 эпох, чтобы они могли адаптироваться к текущему встраиванию общих данных, после чего следует состязательное обучение кодировщика с использованием отрицательных градиентов из классификаторов пола и расы:

В то время как цель трех глав нейронной сети состоит в том, чтобы классифицировать людей с максимально возможной точностью, цель Encoder - повысить точность классификатора заработной платы, устраняя предсказуемость в отношении пола и расы.

Чтобы еще больше усложнить ситуацию, мы также должны устранить серьезный дисбаланс различных групп в нашем наборе данных в нашем определении справедливости. Несбалансированные данные - обычная проблема в наборах данных реального мира, и мы устраняем дисбаланс при вычислении потерь и точности модели. Вот почему мы используем пользовательские веса, соответствующие несбалансированности наших пакетов данных и функцию tf.nn.weighted_cross_entropy_with_logits () с линейной активацией в слои вывода нейронной сети для извлечения логитов.

Результат состязательной тренировки модели выглядит следующим образом:

Мы успешно удалили предсказуемость расы и пола из общих встраиваний данных, производимых Encoder. Но поскольку мир предвзят, точность классификатора заработной платы также значительно пострадала, в частности, предсказуемость высокооплачиваемых сотрудников. Думаю, тут никаких сюрпризов.

Резюме и этика данных

Наука о данных способна трансформировать бизнес и делать большую пользу в снижении рисков и затрат в B2B, а также предоставлять инновационные продукты в B2C. Но приложения для анализа данных несут большую ответственность. Чего мы должны избегать любой ценой, так это того, чтобы наука о данных автоматизировала усиление предубеждений неинтерпретируемым и необъяснимым образом.

Мы надеемся, что статья проиллюстрировала некоторые важные выводы:

  • Справедливость и устранение предубеждений - сложная тема, и я, конечно, не эксперт
  • В предвзятом мире, в котором мы живем, устранение предубеждений влияет на точность модели, и мы смотрим на дилемму компромисса между точностью и справедливостью.
  • Удаление конфиденциальных данных из входных данных модели не сделает вашу группу моделей неосведомленной или справедливой.
  • В первую очередь нам пришлось записывать конфиденциальные данные, чтобы использовать их в противодействии нашей модели. Это имеет важные последствия для интерпретации защиты данных и этики данных « Используйте данные, которые соразмерны потребностям пользователя ». Законы о защите данных очень четкие в отношении личных данных и даже строже в отношении конфиденциальных данных, позволяющих установить личность. Не записывать такие данные кажется самым простым и безопасным вариантом соблюдения требований, и на первый взгляд кажется, что это способствует справедливости через неосведомленность группы. Но мы видели в приведенном выше примере с данными переписи населения США, что это неверно! Это может соответствовать законам о защите данных, но не обеспечивает справедливости. В то время как защита данных побуждает бизнес не собирать конфиденциальные данные, этичное использование данных на самом деле дает повод лучше инвестировать в безопасный и совместимый сбор конфиденциальных данных.

Здесь старший бизнес-руководитель снова появляется в роли человека, который должен позвонить и взять на себя ответственность за:

  • точность против справедливости моделей, решение, влияющее на доход
  • Избегайте сбора конфиденциальных данных для идеальной защиты данных по сравнению со сбором конфиденциальной информации для этичного использования данных в моделях с достоверной дебификацией, решение, сопряженное с риском и затратами (например, утечки данных, безопасная инфраструктура данных и т. д.)

Ян является успешным идейным лидером и консультантом в области преобразования данных в компаниях и имеет опыт масштабного внедрения науки о данных в коммерческое производство. Недавно dataIQ признал его одним из 100 самых влиятельных практиков в области данных и аналитики в Великобритании.

Подключитесь к LinkedIn: https://www.linkedin.com/in/janteichmann/

Прочтите другие статьи: https://medium.com/@jan.teichmann