ИИ не просто изучает наши предубеждения; он их усиливает.

ИИ не просто изучает наши предубеждения; он их усиливает.

После моей презентации Предвзятость: статистические и значимые на прошлой неделе на обеде REWORK Women in AI in Healthcare Dinner в Лондоне меня спросили, могу ли я написать что-нибудь по этой теме, предназначенное для менее технической аудитории. Я надеюсь, что эта статья предоставит достаточно технической интуиции о причинах предубеждений в алгоритмах, а также предложит доступный взгляд на то, как мы непреднамеренно усиливаем существующие социальные и когнитивные предубеждения с помощью машинного обучения - и что мы можем сделать, чтобы это остановить.

Что мы подразумеваем под смещением

Когда мы говорим о предвзятости, мы имеем в виду одно и то же, независимо от нашей дисциплины. Говорим ли мы о когнитивном, социальном, статистическом или любом другом типе предвзятости, предвзятость - это неточность, которая систематически неверна в том же направлении. В качестве быстрого примера рассмотрим рекрутера, который постоянно недооценивает способности женщин. Рекрутеры не просто поступают несправедливо, они на самом деле вредят собственному успеху при найме хороших кандидатов. Если бы это был алгоритм, он бы снизил его точность во время тестирования. Предвзятость - это не только этическая проблема; это в первую очередь влияет на успех человека или алгоритма, который его содержит.

С другой стороны, поскольку смещения всегда в одном и том же направлении, их можно быстро исправить, что сразу же улучшает точность и справедливость. Это верно в отношении алгоритмов машинного обучения, так же как вы можете попытаться учесть когнитивные искажения в своем мозгу. Предвзятость - это просто неточность, которую, однажды заметив, можно легко и, несомненно, устранить.

Предвзятые данные

Тот факт, что статистические предубеждения существуют во многих моделях машинного обучения, так же как когнитивные предубеждения существуют у людей, мало удивляет, учитывая, что они являются продуктом предвзятых данных, точно так же, как мы являемся продуктом нашей среды и данных, которые мы выбираем для сбора. дюйм. Существует распространенное заблуждение, что больший набор данных всегда лучше. Это убеждение сохранилось, потому что обычно вы можете повысить точность, добавив больше данных. Но, к сожалению, эта повышенная точность не повлияет на производственную точность, если дополнительные данные смещены и не отражают реальный мир. Как говорится, «мусор на входе, мусор на выходе».

Многие алгоритмы, которые обучены выполнять человеческую работу, такие как набор персонала, оценка кредитоспособности, назначение тюремного заключения или постановка диагноза пациенту, будут обучены на данных, созданных человеком, из прошлых случаев, когда человек выполнял эту работу. Если они обучены на данных, которые содержат человеческую предвзятость, тогда, конечно, алгоритмы изучат это, но, более того, они, вероятно, будут усиливать это. Это огромная проблема, особенно если люди предполагают, что алгоритмы беспристрастны и не могут иметь тех же предубеждений, что и люди.

Предвзятые алгоритмы уже запущены в производство

То, что в последнее время кажется гонкой вооружений вокруг искусственного интеллекта, вызвало огромное давление на исследователей, заставляющих их быстро публиковать статьи, а на компании - поспешно выпустить свой продукт на рынок, прежде чем это сделает кто-то другой. Это означало, что у нас было мало времени, чтобы сделать шаг назад и проанализировать предубеждения. Это, наряду с акцентом на чисто прошлую точность набора данных, означает, что предвзятые алгоритмы были расширены до уровня производства. Вот два довольно известных примера; Конечно, предвзятость связана не только с расой и полом, это лишь некоторые из самых простых мест, где можно заметить очевидные ошибки и несправедливость.

Вложения Word2Vec Word

Вложения слов были разработаны для кодирования значений слов в векторном пространстве (если вы не знакомы с векторными пространствами, просто подумайте о трехмерном пространстве). Это означает, что слова, имеющие схожее значение, расположены близко друг к другу в этом пространстве. Хорошее введение в вложения слов можно найти здесь, если вам интересно узнать больше.

Конечно, «значение» слова очень зависит от контекста, и векторы слов будут изучать слово в контексте обучающих данных. Выбирая набор данных, вы неявно предполагаете, что желаемое значение - это то значение, которое вы узнали бы, прочитав набор данных. Например, может быть полезно иметь векторы слов, которые понимают медицинское значение слов, а не их разговорный смысл. Вложения word2vec были обучены Google на наборе данных Новостей Google из 100 миллиардов слов - или около 125 миллионов новостных статей. Ожидать, что в новостных статьях не будет никакой предвзятости, кажется немного наивным.

Разница между двумя вложениями слов также имеет значение, как показано в примере ниже. Мужчина для Короля, как Женщина для… - предсказывает модель Королеве. Ниже приведены скриншоты интерактивного комбинатора встраивания слов. Вы можете попробовать это на себе здесь.

Хорошо, это круто, похоже, алгоритм имеет некоторое представление о женском векторе. Однако, если мы посмотрим на другой пример, мы увидим векторы, демонстрирующие гендерные предубеждения во многих рабочих местах - наиболее причудливым является следующее: «Мужчина для программиста, как женщина для…» - «Домохозяйка»!

Опять же, это не только этический вопрос, это также буквально неточность, женщина-программист не является домохозяйкой. Насколько мне известно, эта предвзятость была впервые отмечена в статье, опубликованной год назад на NIPS 2016. В этой статье они также объясняют метод моделирования и устранения этой систематической ошибки.

Подобная предвзятость вложения слов на самом деле является огромной проблемой, потому что они используются во многих продуктах Google (таких как Search and Translate), а также в большом количестве других технологических компаний. В документе приводится пример того, как вложения используются для улучшения результатов поиска, а это означает, что если вы введете в качестве запроса «студент-кандидат компьютерных наук cmu», то вы с большей вероятностью будете перенаправлены на страницы студентов-мужчин, потому что встраивание для мужских имен ближе к встраиванию «информатика».

Еще одна заметная проблема связана с Google Translate, который, конечно же, использует эти вложения слов. Если перевести «Он медсестра. Она доктор." на венгерский, а затем снова вы видите, что пол поменялся местами. (попробуйте сами; другие языки тоже работают, попробуйте турецкий).

Это просто еще одна иллюстрация того, что векторы смещены. В будущем проблемы возникнут, когда эти вложения слов будут использоваться для создания большего количества текстов, например детских книг, экзаменационных вопросов или самих новостных статей.

КОМПАС

Возможно, более тревожным примером предвзятости в производстве является алгоритм Профилирование исправительных правонарушителей для альтернативных санкций (COMPAS), который использовался судами в США для вынесения приговоров к тюремному заключению. ProPublica независимо исследовала алгоритм и обнаружила, что он настроен против чернокожих. Они обнаружили, что вероятность неточного предсказания того, что черный человек совершит повторное преступление, в два раза выше; и вдвое выше вероятность неточного предсказания того, что белый человек не будет повторять преступление. Это означало, что люди получали более строгие сроки тюремного заключения исключительно на основании расовых предубеждений. Полная информация об исследовании и анализе находится в статье ProPublica. Создатели КОМПАС не разглашали подробностей об алгоритме, хотя некоторые указания на методологию есть здесь.

Как дискриминационные модели усиливают предвзятость

Дискриминационные модели (в отличие от генеративных моделей) являются основной причиной усиления смещения, а также гораздо более распространены в производстве. В другом посте я расскажу о достоинствах генеративных моделей. Вкратце, генеративные модели изучают конкретную модель проблемы и то, как каждый ее элемент взаимодействует друг с другом, что обеспечивает большую интерпретируемость модели. С другой стороны, дискриминационные модели - это скорее «черный ящик», они учатся отвечать только на конкретные вопросы.

Дискриминационные модели

Дискриминационные модели, такие как нейронные сети, логистическая регрессия, SVM и условные случайные поля, стали очень популярными из-за их скорости и относительной простоты использования. Вы просто вставляете множество помеченных данных (примеры того, что вы хотите предсказать или классифицировать), и модель учится предсказывать ярлык будущих примеров с помощью комбинации обобщений об обучающих данных. Никаких явных модельных предположений не делается, ваши единственные неявные модельные предположения состоят в том, что данные, которые вы вводите, беспристрастны и что больше всего вас волнует точность ваших прогнозов.

При выполнении задачи классификации они, вероятно, будут обучены максимальной точности классификации. Это означает, что модель будет использовать любую информацию, которая повысит точность набора данных, особенно любые смещения, которые существуют в данных.

Усиление смещения

Эти модели максимизируют эту точность, комбинируя множество грубых обобщений данных, на которых они были обучены, что является критическим моментом, когда происходит усиление смещения. Тот факт, что обобщения усиливают смещение, не сразу интуитивно понятен, поэтому позвольте мне привести пример.

Представьте, что существует алгоритм, который по изображению человека прогнозирует, мужчина он или женщина. Допустим, точность составляет 75%. Предположим, у нас есть предвзятый набор данных, который не отражает истинного общества (возможно, потому, что, например, он состоит из изображений из голливудских фильмов). В этом наборе данных 80% времени на кухне это женщина. Затем алгоритм может повысить точность с 75% до 80%, просто предсказав, что все, кто когда-либо был на кухне, - женщины. Поскольку алгоритм просто оптимизирует точность, это, скорее всего, именно то, что он делает. Таким образом, смещение здесь увеличилось с 80% в наборе данных до 100% в алгоритме.

Чем менее точен алгоритм, тем больше он будет использовать систематические ошибки в данных для улучшения прогнозов. В реальных моделях смещение вряд ли будет увеличено до 100%, но даже использование этого смещения в наборе данных вызовет некоторое усиление.

Этот феномен был освещен в документе под названием Мужчины тоже любят ходить по магазинам: уменьшение гендерных предубеждений с помощью ограничений на уровне корпуса », который этим летом получил награду за лучшую работу на EMNLP. В статье рассматривается гендерная предвзятость в наборах данных, а также алгоритмы классификации изображений и Визуального семантического обозначения ролей, которые были обучены на них. Выяснилось, что в наборе данных imSitu с изображениями людей, готовящих еду, в 66% случаев они были женщинами. Однако после того, как алгоритм был обучен, он усилил эту предвзятость и предсказал, что 84% людей, готовящих пищу, будут женщинами. Алгоритм, который использовался здесь, представлял собой условное случайное поле, дискриминантную графическую модель. Затем они предложили решение, позволяющее уменьшить усиление смещения для прогнозирования 80% женщин без какого-либо отрицательного влияния на точность. Кроме того, если предположить, что систематическая ошибка в наборе данных не отражает реальной жизни, то точность этого алгоритма в реальной жизни, безусловно, будет улучшена на этом этапе.

Что мы можем с этим поделать?

Во-первых, мы, исследователи и специалисты по данным, должны быть довольны тем фактом, что многие наборы данных не совсем объективны и что оптимизация наших алгоритмов для точного соответствия набору данных может быть не тем, что нам нужно. Могут быть логические способы уменьшить систематическую ошибку в наборе данных, но если нет, то, как уже упоминалось в этой статье, есть много способов технически бороться с этой систематической ошибкой в ​​алгоритме. Не существует одного решения для каждой модели, но будет множество методов для устранения или, по крайней мере, уменьшения усиления смещения. Одно из решений, которое меня особенно интересует, - это по возможности использовать Генеративные (вместо Дискриминативные) модели. Их нельзя использовать для решения всех задач, но у них есть то преимущество, что они не усиливают смещение таким же образом, как описано ранее. Они также повышают интерпретируемость модели, что упрощает устранение любых систематических ошибок в наборе данных. Это то, чем мы занимаемся в Babylon Health, и я хотел бы обсудить (байесовские) генеративные модели в отдельном посте.

Мы должны рассматривать ИИ как возможность, а не как препятствие на пути к социальному равенству. Легче устранить предубеждения в алгоритмах, чем в людях, и поэтому в конечном итоге ИИ может создать будущее, в котором важные решения, такие как прием на работу, диагностика и судебные решения, будут приниматься более справедливым образом.

Хотя действительно существуют технические решения для уменьшения предвзятости, их поиск и реализация требует определенных усилий. Поэтому, как общество, мы должны найти способы контролировать предвзятость и стимулировать компании, чтобы их алгоритмы не были предвзятыми. Это можно сделать путем внешнего тестирования алгоритма на предмет предвзятости, подобно тому, как ProPublica сделала для COMPAS, или путем запроса большей прозрачности наборов данных и того, для чего оптимизируются алгоритмы. В противном случае, пока компании, занимающиеся искусственным интеллектом, и венчурные инвесторы не поймут, что точность прошлых наборов данных - не лучший показатель для реальной точности, люди будут продолжать идти простым путем.