Наши алгоритмы машинного обучения усиливают предвзятость и сохраняют социальное неравенство

Этика и соображения AI

Наши алгоритмы машинного обучения усиливают предвзятость и сохраняют социальное неравенство

Для инженеров машинного обучения, нанимающих их компаний и пользователей, на которых влияют настроенные ими алгоритмы:

Вскоре после того, как я начал заниматься на курсах машинного обучения, меня осенило, что в СМИ существует абсурдное преувеличение в отношении состояния искусственного интеллекта. Многие считают, что искусственный интеллект - это исследование развития сознательных роботов, которые вскоре захватят планету Земля. Я обычно готовлюсь, когда кто-то задается вопросом о том, что я изучаю, поскольку мой ответ часто преждевременно встречает испуганный вздох или гневную конфронтацию. И это понятно.

Сознательные роботы скоро возьмут верх?

Однако реальность такова, что машинное обучение - это не опасный волшебный джинн и не какая-либо форма сознательной сущности. Для простоты я обычно говорю, что сущность ИИ - это математика. Некоторые говорят, что это просто прославленная статистика. Или, как красноречиво выразился Кайл Галлатин, машинное обучение - это всего лишь y = mx + b на взлом.

Конечно, это упрощение, поскольку машинное обучение опирается на многие дисциплины, такие как информатика, нейробиология, математика, научные методы и т. Д. Но дело в том, что средства массовой информации переполнены многословием, из-за которого создается впечатление, что мы в прямой опасности быть захваченным искусственно разумными существами.

По правде говоря, это не так. Но есть много других коварных проблем в производстве машинного обучения, которые часто упускаются из виду. Рэйчел Томас, соучредитель fast.ai, отметила, что она вместе с другими экспертами по машинному обучению считает, что шумиха вокруг сознания в ИИ преувеличена, но другим (социальным) вредам не уделяется достаточно внимания ». Сегодня я хочу более подробно остановиться на одном из социальных вредов, на которые обращается Рэйчел: ИИ кодирует и усиливает предвзятость.

Настоящая опасность машинного обучения: мусор в мусоре

Самый тревожный аспект этого - идея увеличения предвзятости ИИ - заключается в том, что само обещание машинного обучения при автоматизации социальных процессов заключается в сохранении высшей степени нейтралитета. Хорошо известно, что врачи могут иметь предвзятость при постановке диагноза в системе здравоохранения или присяжные могут иметь предвзятость при вынесении приговора в уголовном судопроизводстве. В идеале машинное обучение должно синтезировать большое количество переменных в записи и давать нейтральную оценку.

Но случилось так, что программы машинного обучения в значительной степени закрепили наши предубеждения. Так что вместо того, чтобы судья предвзято относился к афроамериканцам, это был робот . - Брайан Резник

Мы ожидаем, что модель будет объективной и справедливой; именно эта разочарованная позиция объективности делает все испытание коварным и особенно разочаровывающим.

Так как же это происходит?

«Мусор в вывозе мусора» - хорошо известная аксиома информатики, означающая, что вход низкого качества приводит к выходу низкого качества. Как правило, вводимые данные «без мусора» относятся к чистым, точным и хорошо обозначенным вводным данным для обучения. Однако теперь мы можем видеть, что наш мусор вполне может быть отточенным и точным представлением нашего общества, каким оно действовало в прошлом. Реальная опасность в машинном обучении связана не столько с роботизированными сознательными объектами, сколько с другим типом сознательных существ - людьми. Когда для обучения модели машинного обучения используются социально предвзятые данные, коварным результатом является дискриминационная модель машинного обучения, которая предсказывает социальные предубеждения, которые мы стремимся устранить.

Более высокая точность! = лучшие социальные результаты

Проблема простирается дальше от предсказания к увековечиванию; создаем вид арматурной петли.

Например, предположим, что владелец бизнеса хочет предсказать, кто из его клиентов, скорее всего, купит определенные продукты, чтобы они могли предложить специальный набор. Затем они просят специалиста по обработке данных создать алгоритм прогнозирования и использовать его для рекламы выбранной группы. На данный момент модель не просто предсказывает, какие клиенты будут покупать, она усиливает ее.

Хотя в данном примере это безобидно, это может привести к пагубным последствиям для социальных процессов. Именно это и привело к появлению этих неожиданных заголовков:

Опять же, если наше приложение направлено на медицинское обслуживание с целью прогнозирования, какой группе следует уделять больше внимания на основе предыдущих данных, мы не просто прогнозируем ради оптимизации, мы теперь активно увеличиваем и сохраняем предыдущие различия.

Итак, отменяем ли мы машинное обучение, потому что мы знали, что оно приведет к разрушению мира?

Короче нет. Но, возможно, нам следует переосмыслить то, как мы практикуем машинное обучение. Как упоминалось ранее, когда я впервые начал практиковать машинное обучение, чрезмерно преувеличенный банальный страх перед искусственным интеллектом, развивающим сознание, начал меня немного забавлять. Я подумал, что, возможно, худшее, что может произойти, - это неправильное использование, как и любого другого инструмента, который у нас есть, хотя неправильное использование, возможно, более очевидно для физического инструмента, чем для цифрового инструмента.

Однако короткометражный фильм Slaughterbots Альтера на YouTube вызвал много размышлений относительно этики и возможных опасностей автономного искусственного интеллекта. Основная причина, по которой Институт будущего жизни создал фильм, заключалась в том, чтобы донести следующую идею: « Поскольку автономное оружие не требует индивидуального контроля со стороны человека, оно является потенциально масштабируемым оружием массового уничтожения - может быть запущено неограниченное количество. небольшим количеством людей .»

В контексте этого короткометражного фильма дроны использовались с намерением причинить вред. Однако использование искусственного интеллекта может привести к катастрофическим непреднамеренным последствиям. системы? Что произойдет, если мы создадим ИИ для оптимизации для достижения четко определенной цели и слабо определенных ограничений без каких-либо надзорных мер предосторожности и поймем, что это было больше, чем мы рассчитывали? Что, если мы создадим систему с великими намерениями, которая будет использоваться для общественного блага, но в конечном итоге нанесем катастрофический и необратимый ущерб? Отсутствие сознания становится неуместным и, тем не менее, не сводит к минимуму потенциальный вред.

Затем я начал наткнуться на соответствующие ресурсы, которые бросили вызов текущей стандартной модели искусственного интеллекта и рассмотрел эти проблемы, что в конечном итоге привело к синтезу сообщения в блоге.

Обратное обучение с подкреплением

Первая была «Human Compatible» Стюарта Рассела, которая предполагает, что стандартная модель ИИ проблематична из-за отсутствия вмешательства. В текущей стандартной модели мы фокусируемся на оптимизации наших изначально установленных метрик без какого-либо контроля со стороны человека. Рассел оспаривает это с помощью гипотетической ситуации, когда через некоторое время мы понимаем, что последствия наших первоначальных целей были не совсем такими, как мы хотели.

Вместо этого Стюарт предлагает вместо того, чтобы использовать наши системы искусственного интеллекта для оптимизации для достижения фиксированной цели, мы создаем их с гибкостью, чтобы адаптироваться к нашим потенциально нестабильным целям. Это означает программирование на уровне неопределенности в алгоритме, когда нельзя быть полностью уверенным в том, что он знает наши цели, поэтому он намеренно спрашивает, нужно ли его перенаправить или отключить. Это называется «обучение с обратным подкреплением».

Ниже вы можете увидеть разницу между общими целями обучения с подкреплением и целями обучения с обратным подкреплением:

При традиционном обучении с подкреплением цель состоит в том, чтобы найти наилучшее поведение или действие, чтобы максимизировать вознаграждение в данной ситуации. Например, в области беспилотных автомобилей модель будет получать небольшое вознаграждение за каждый момент, когда она остается в центре дороги, и получает отрицательное вознаграждение, если проезжает на красный свет. Модель движется по окружающей среде, пытаясь найти лучший способ действий, чтобы максимизировать вознаграждение. Таким образом, модель обучения с подкреплением получает функцию вознаграждения и пытается найти оптимальное поведение.

Однако иногда функция вознаграждения неочевидна. Чтобы учесть это, обратное обучение с подкреплением получает набор моделей поведения и пытается найти оптимальную функцию вознаграждения. Учитывая такое поведение, чего на самом деле хочет человек? Первоначальная цель IRL состояла в том, чтобы раскрыть функцию вознаграждения в предположении, что данное поведение является наиболее благоприятным. Однако мы знаем, что это не всегда так. Следуя этой логике, этот процесс может помочь нам выявить способы предвзятости людей, что, в свою очередь, позволит нам исправлять будущие ошибки посредством осознания.

Пристрастный алгоритм КОМПАС

Еще один актуальный и своевременный ресурс - это серия «Расизм, система уголовного правосудия и наука о данных» из Linear Digressions. В этом эпизоде Кэти и Бен тактично обсуждают COMPAS, алгоритм, обозначающий профилирование исправительных правонарушителей для альтернативных санкций. Этот алгоритм является законным для использования судьями во время вынесения приговора в нескольких штатах США для прогнозирования вероятности повторного совершения обвиняемым преступления.

Однако различные исследования поставили под сомнение точность алгоритма, обнаружив дискриминационные по расовому признаку результаты, несмотря на отсутствие данных о расе. Линейное отступление исследует потенциальные причины возникновения результатов, предвзятых с расовой точки зрения, и завершается устойчивой цепочкой мощных, наводящих на размышления этических вопросов:

Какие исходные данные следует иметь для алгоритма? Справедливо ли иметь алгоритм, который был бы более точным, если бы он привносил несправедливость в общий контекст? Откуда поступают данные? В каком контексте будет развернут вывод? При добавлении алгоритмов в процессы, которые уже являются сложными и трудными, уделяем ли мы достаточно времени изучению контекста? Что мы пытаемся автоматизировать, и действительно ли мы хотим это автоматизировать?

Эта последняя цепочка вопросов, которые Кэти так аккуратно задает в конце эпизода, представляют собой удивительно актуальные вопросы, которые оставили неизгладимое впечатление, учитывая тот факт, что я такой яростный сторонник машинного обучения на благо общества. Я уверен, что эти соображения станут неотъемлемой частью каждой сложной социальной проблемы, основанной на данных, которую я стремлюсь решить с помощью алгоритма.

Последние мысли и размышления

Эти модели нанесли серьезный ущерб многим людям, в то же время создавая ложное чувство безопасности и нейтралитета, но, возможно, мы можем извлечь из этого признание неоспоримой недопредставленности наших данных. Отсутствие данных по определенным группам меньшинств становится очевидным, когда алгоритмы явно не работают с этими группами.

Предвзятость - это наша обязанность, по крайней мере, признать, чтобы мы могли продвигать инициативы по их снижению.

Более того, в статье Что мы делаем с предвзятостью в ИИ Джеймс Маника, Джейк Силберг и Бриттани Престен представляют шесть способов, с помощью которых управленческие команды могут добиться максимальной справедливости с помощью ИИ:

Будьте в курсе исследований в области искусственного интеллекта и этики.
Установите процесс, который может снизить предвзятость при развертывании ИИ
Участвуйте в основанных на фактах обсуждениях потенциальных человеческих предубеждений
Изучите способы, которыми люди и машины могут интегрироваться для борьбы с предвзятостью
Приложите больше усилий к исследованию предвзятости, чтобы продвинуться в этой области.
Инвестируйте в диверсификацию области искусственного интеллекта с помощью образования и наставничества

В целом меня очень воодушевляет способность машинного обучения помогать людям принимать решения. Теперь, когда мы знаем о предвзятости в наших данных, мы обязаны принять меры для смягчения этих предубеждений, чтобы наш алгоритм мог действительно дать нейтральную оценку.

В свете этих прискорбных событий я надеюсь, что в ближайшие годы будет больше диалога по регулированию ИИ. Уже существуют замечательные организации, такие как AI Now и другие, которые занимаются исследованиями, которые вращаются вокруг понимания социальных последствий искусственного интеллекта. Теперь наша ответственность - продолжить этот диалог и двигаться вперед к более прозрачному и справедливому обществу.

Статьи, используемые для рисунка II:

Наши алгоритмы машинного обучения усиливают предвзятость и сохраняют социальное неравенство

Этика и соображения AI