О каких моделях идет речь?

Вы когда-нибудь задумывались, как Netflix рекомендует фильмы на ваш вкус? Вы когда-нибудь задумывались о том, как появились беспилотные автомобили? Или как агентства кредитных карт так быстро обнаруживают мошенничество с транзакциями? Ответ на каждый вопрос — машинное обучение и искусственный интеллект (ИИ).

Благодаря доступности бесконечных объемов данных и способности современных компьютеров обрабатывать их, компании резко перешли к принятию решений на основе данных. Хотя эти решения считаются более точными и надежными, чем традиционные методологии, по-прежнему преобладает необходимость понимать, что модели необъективны. Предвзято мы пытаемся выяснить, дискриминируют ли наши модели и прогнозы некоторые приобретенные демографические характеристики, в том числе: расу, пол, образование, инвалидность, цвет кожи, социальный статус и т. д. Эти соображения важны, когда речь идет о регулирующих органах, которые имеют строгие законы, не допускающие никакой дискриминации; умышленно или иным образом.

Что такое смещение модели и почему оно нежелательно — несколько примеров

Одним из лучших примеров для понимания предвзятости является COMPAS (сокращение от «Профилирование управления правонарушителями в исправительных учреждениях для альтернативных санкций»). Это инструмент управления делами, используемый судами США для прогнозирования вероятности совершения преступником преступления в будущем. Он стал объектом пристального внимания и споров, когда результаты основного алгоритма показали, что ответчики черного происхождения часто считались более склонными к преступному поведению в будущем, хотя все остальные параметры были одинаковыми. Это классический пример предвзятых моделей, показывающий, как приобретенный параметр (цвет) привел к несправедливости и дискриминации.

Другими примерами, позволяющими понять предвзятость, является сектор кредитования в сфере финансовых услуг. Исследование, проведенное в Калифорнийском университете в Беркли, показало, что кредитование в Соединенных Штатах было предвзятым в отношении заемщиков латиноамериканского / афроамериканского происхождения. Статистика говорит нам, что они взимали на 7,9 и 3,6 базисных пункта больше, чем другие заемщики, и были обязаны платить на 765 миллионов долларов США больше процентов в совокупности в год. Эти примеры дают нам достаточно информации о том, что, хотя автоматизированные модели предназначены для улучшения различения и ошибочности человеческих решений, они не смогли хорошо справиться с этой задачей. Хотя можно утверждать, что общее принятие решений намного лучше, чем с участием человека, проблема предвзятости не решается так, как хотелось бы.

Женщины получили гораздо меньший кусок кредитной карты Apple.

Департамент финансовых услуг Нью-Йорка начинает расследование новых алгоритмов Apple Card, созданных в сотрудничестве с Goldman Sachs и определяющих кредитные лимиты, после серии твитов от технологического предпринимателя о предполагаемой гендерной дискриминации. Он раскритиковал Apple Card за то, что она предоставила ему в 20 раз больше кредитного лимита, чем его жена, что привело к возможной дискриминации по признаку пола.

Голдман ответил, что будет сложно провести дискриминацию по признаку пола, учитывая, что они не знают пол заявителя в процессе подачи заявки. Это заявление вызвало бурную дискуссию об алгоритмах «черного ящика» и присущих этим системам Goldman и Apple предубеждениях.

Так откуда нам знать, что с алгоритмом машинного обучения нет проблем, если никто не может объяснить, как было принято такое решение?

Откуда во всем этом объяснимость?

Одна из основных причин предвзятости связана с тем, что компании пытаются разработать модели для обеспечения точности и прибыли. Основная предпосылка моделирования вообще не учитывает справедливость. Более того, исторические данные играют жизненно важную роль в расшифровке предвзятости любой модели. Модели настолько хороши или беспристрастны, насколько хороши обучающие данные, на которых они обучались. Если обучающие данные относятся к определенной категории лиц, так что эти лица представляют определенную приобретенную характеристику (например, пол, расу, цвет кожи, социальный статус и т. д.), модели и приложения, разработанные с использованием этих данных, имеют высокую вероятность стать предвзятым. Другой причиной могут быть особенности, на которых построена модель. Содержит ли набор признаков какой-либо демографический параметр? Или у него есть атрибут, который не является явно демографическим, но ведет к предвзятости?

Чем сложнее модель, тем менее она объяснима. Таким образом, более вероятен шанс не понять его предвзятости. Таким образом, чтобы объяснить модель и найти ее предвзятость, мы должны найти хорошую связь между сложностью модели и точностью ее предсказаний. Мы должны быть в состоянии объяснить вес/значение признаков, заданных моделью.

Существуют ли какие-либо инструменты для борьбы с предвзятостью модели?

Несмотря на все наши усилия, направленные на то, чтобы исключить любую предвзятость при разработке модели, может оказаться невозможным построить модель без предвзятости, поэтому исследователи ввели инструменты для определения и количественной оценки степени справедливости в данной модели.

Lime — это широко используемый модуль, который определяет, какие входные данные имеют больший вес в прогнозах, а затем пытается оценить характер изменения прогноза после удаления этих входных данных, в процессе понимая, имеют ли некоторые параметры экстраординарное смещение. AI Fairness 360, разработанный IBM, работает с помощью алгоритмов устранения предвзятости, таких как оптимизированная предварительная обработка, устранение несопоставимых воздействий и постобработка с уравниванием шансов; и даже имеет интерактивный модуль, позволяющий пользователям видеть и анализировать различные показатели, которые могут вызвать предвзятость. Aequitas — еще один продукт, который широко используется в отделах кредитного андеррайтинга. Он помогает не допустить, чтобы определенные группы людей оказались в невыгодном положении, и гарантирует, что кредиты выдаются на недискриминационной основе для всех. Другие наборы инструментов включают плагин What-if от Google и набор инструментов FairML.

Всякий раз, когда в работе модели есть ошибки, это приводит к денежным потерям денег в виде штрафов для компании. Группа регулирующих органов часто проводит аудиты, чтобы понять причины этих проблем, были ли предприняты шаги по проверке перед производством и какие шаги по восстановлению следует предпринять, чтобы уменьшить потери. Чтобы снизить риски, связанные с этими аудитами, нам нужна модель управления и платформа управления, которая будет на шаг впереди. Именно здесь в дело вступает Datatron. Предвзятые модели могут запускаться в производство, поэтому, отслеживая ответы модели и отзывы пользователей, платформа Datatron может предупреждать пользователей и предоставлять мониторинг и доказательства, чтобы быстро показать аудиторам, какие шаги были предприняты в производстве, когда ваши модели необъективны. Узнайте больше о Datatron здесь или посетите наш сайт.

Подводя итог, можно сказать, что наличие какой-либо предвзятости в моделях не является идеальным. Не только с точки зрения регулирования, но и потому, что это ведет к дискриминации в обществе. В то время как ограниченное использование демографических атрибутов в значительной степени устраняет эту проблему, использование упомянутых выше наборов инструментов может обеспечить минимальное наличие предвзятости.

Ознакомьтесь с нашей предыдущей статьей о статистическом уклоне и почему он так важен для науки о данных.

Ссылки:
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
http://faculty .haas.berkeley.edu/morse/research/papers/discrim.pdf
https://arxiv.org/pdf/1810.01943.pdf
https://arxiv.org/abs /1811.05577
https://towardsdatascience.com/evaluating-machine-learning-models-fairness-and-bias-4ec82512f7c3

Первоначально опубликовано на https://blog.datatron.com 25 марта 2020 г. Автор Викас Савант.