Борьба с предвзятостью машинного обучения

Искусственный интеллект, точнее машинное обучение, действительно распространился по отраслям и бизнес-функциям. Конечно, с огромной разницей в зрелости и успехе. Что мы видим, так это то, что прибыль поступает от систем, которые успешно построили инновационные модели, создали основу машинного обучения и операций с данными для поддержки непрерывных улучшений, а также бизнес-модель, которая может использовать ее надлежащим образом. Сейчас, когда все больше и больше компаний делают это, мы видим, что не все модели равны, и в некоторых случаях может возникнуть риск юридического ущерба или ущерба бренду, если модели проявляют признаки предвзятости или несправедливости.

«Я делаю ставку на следующие 10 лет, что наиболее конкурентоспособными предприятиями будут ответственные компании, управляемые искусственным интеллектом».

- Лофред Мадзу, руководитель проекта ИИ на Всемирном экономическом форуме

В этом документе предполагается, что у вас есть специалист по данным, инженеры по машинному обучению, специалисты по MLO и все необходимое, чтобы реализовать ваши потребности. И вы реализовали несколько критических моделей или систему многих сверхфокусных моделей, работающих вместе, но вы не спите по ночам, опасаясь, что не все сделано для обеспечения этических и справедливых результатов от модели. И что вы можете справиться с бомбой замедленного действия, если не введете какое-то управление, а задаетесь вопросом: «Что можно сделать?»

Предвзятость и неэтичное использование машинного обучения, как правило, происходит из 5 областей:

  • Предвзятость в организации. Полон ли уже бизнес, отрасль или культура предвзятого отношения / дискриминации в своей работе? Скорее всего, можно даже не знать, так ли это, но в таких организациях, как полиция или прием в колледжи, было проведено достаточно исследований, чтобы показать наличие врожденных предубеждений. С ними следует разобраться до того, как вокруг них будет построена система машинного обучения, они будут воспроизведены и, как правило, усилены моделью в этой ситуации.
  • Предвзятость в проблеме. Определена ли проблема осознанно или бессознательно? Например, исключение соискателей ипотеки, потому что они не используют веб-сайт и не одобрили предоставление PII. Модель может отдавать приоритет «более безопасным» цифровым кандидатам, где у нее есть полное представление о личных данных кандидатов и прошлых транзакциях, по сравнению с теми, для которых требуется бумажная заявка, предоставленная в филиале.
  • Предвзятость в данных. Обнаружена ли систематическая ошибка в используемых обучающих данных из-за проблем с выборкой или сбором данных? Профилируйте его, опрашивайте на основе потенциальных областей риска (например, пола или расы), чтобы найти дисбаланс данных или выбросы, которые могут привести к предвзятости в обученной системе машинного обучения.
  • Предвзятость в модели. Имеется ли обученная предвзятость, вызванная дизайном или настройкой модели, помимо тех, которые унаследованы от предыдущих областей, рассмотренных выше? Некоторые алгоритмы легче понять работу модели, чем другие, но в целом модели машинного обучения рассматриваются как черные ящики, что делает обзор внутренней работы непрактичным.
  • Неправильное использование модели и неправильное обобщение. Были ли модели расширены для вариантов использования или наборов данных, которые не были предназначены во время обучения? Данные, описывающие, как устроен мир, со временем меняются, что приводит к потенциально неверным и предвзятым результатам моделей, которые, возможно, работали так, как предполагалось ранее. Эти проблемы могут вызвать проблемы, поскольку большинство моделей машинного обучения очень узкие по своей конструкции и плохо обобщают базовые данные и варианты использования.

Кошмар связи с общественностью

Рассмотрим гипотетический университет с платформой для онлайн-обучения. Вы можете увидеть следующий набор моделей машинного обучения, работающих вместе для улучшения результатов студентов и университетов. Это больше, чем одна монолитная модель, у руководителя аналитического отдела есть сложный набор моделей, работающих вместе как часть плана обучения студентов. Это становится все более распространенным явлением, поскольку мы обнаруживаем, что поддерживать множество узких моделей проще, чем одну большую.

Типичный длинный список применяемых моделей может выглядеть так:

  • Модели планирования и оптимизации для создания индивидуальной программы обучения для студентов
  • Модели классификации и регрессии для мониторинга и прогнозирования учащихся на основе успеваемости
  • Разговорные агенты для форумов и поддержки студентов
  • Сантимент-анализ для выявления эмоций и решимости учащихся
  • Рекомендательные системы для предложения дополнительных курсов и дополнительной литературы
  • Классификаторы и техники НЛП для автоматической электронной оценки заданий
  • И т.д….

Риск того, что что-то пойдет не так, и предложение определенных курсов на основе пола или оценок, основанных на подсознательном предпочтении студенческих сегментов или стилей ответов, становится вполне возможным в современном мире.

Хотя приведенный выше пример является гипотетическим, недавно во время COVID-19 в Великобритании Управление квалификаций и экзаменов (Ofqual) обучило модель для оценки студентов, поступающих в университет, на основе плохо сформулированной проблемы, объективного определения и недостаточных данных, что привело к 40% учеников успевают хуже, чем прогнозировали их учителя. Возникший хаос вокруг протестов «F # $% the Algorithm» - это хрестоматийный пример результатов невнимания к рискам предвзятости с самого начала. [14]. На первый взгляд, это несоразмерно повредило рабочему классу и малоимущим сообществам и завышало оценки учащихся частных школ!

Чтобы добавить сложности, представьте себе две или более тесно взаимосвязанных функции, таких как «время, затрачиваемое на ответы на вопросы» и «разговорный основной язык». Модель потенциально должна делать выводы на основе «времени, потраченного на ответы на вопросы», а не «основного языка» для овладения темой; даже несмотря на то, что они потенциально сильно коррелируют.

Демонстрация того, что модель придает существенно большее значение защищаемым характеристикам, а не противоречивым, таким как экономические, национальные или гендерные, было бы очень полезно для университета при подтверждении надежности и беспристрастности модели.

В общем, нашему бедному руководителю аналитики необходимо остерегаться следующих сценариев [5], в которых ИИ:

  • Несправедливо распределять возможности, ресурсы или информацию
  • Не обеспечивает такое же качество услуг
  • Укрепляет существующие в обществе стереотипы
  • Очерняет людей, активно оскорбляя
  • Группы, которые больше или меньше представлены

Интерпретируемость модели и этический ИИ

Как и в законе, где бремя доказывания ложится на нарушителя, мы видим новый набор бремени или обязательств для специалистов по данным, стремящихся к инновациям. Это область, в которую вкладывают большие средства все основные игроки, включая DARPA и Big Tech.

Мы исследовали риски, связанные с данными и аналитикой, используемыми в организации, ориентированной на аналитику, в предыдущем посте. Из-за GDPR и возрождения государственного регулирования и сосредоточения внимания на правах потребителей, риск является реальным для организаций, которые использовали для хранения данных и создания навязчивых моделей машинного обучения. Распространенная практика более десяти лет. Теперь организациям необходимо принять меры против:

  • комплаенс / штрафы регулятора
  • влияние на бренд / репутацию
  • общественное восприятие дискриминации или неэтичного поведения

Недавний опрос специалистов по данным, проведенный Wing VC [11], показал, что объяснимость модели была главной проблемой респондентов в области машинного обучения, которую назвали более 45 процентов респондентов, при этом данные помечаются как отдаленная секунда (29 процентов), а развертывание модели и проверки качества данных завершают проверку. верх 4.

В слаломе мы подходим к этому заранее, чтобы можно было разработать системы машинного обучения так, чтобы они были максимально прозрачными и учитывали существующие риски. Ведя к системе, которая может работать более устойчиво и справедливо.

Тест Тьюринга на этику и справедливость машинного обучения

Чем сложнее становится модель или совокупность моделей, тем труднее заглядывать под капот и сомневаться в справедливости или даже используемой логике. Подобно работе человеческого разума; слишком сложно догадаться, что происходит со всеми крошечными химическими реакциями. Таким образом, наши суждения об интеллекте и этике основываются на действиях, наблюдаемых черного ящика (т. Е. Нашего мозга). Первоначальный тест Тьюринга стремился определить общий тест интеллекта, использующий только наблюдаемые сигналы, исходящие из черного ящика.

Следуя этому подходу, для прозрачности модели машинного обучения существует примерно два основных и связанных подхода: аддитивные объяснения Шапли (SHAP) [12] и локальные интерпретируемые независимые от модели объяснения (LIME). Как правило, они немного подстраивают входные данные по одному и измеряют влияние на результат модели, чтобы попытаться построить для каждой функции указание того, какие функции имеют наибольшее влияние на прогноз или классификацию модели. Это должно звучать очень похоже на выбор функции при построении модели машинного обучения….

SHAP был разработан теоретиком игр Ллойдом Шейпли, который исследовал, насколько важен каждый игрок для общего [результата] сотрудничества и какой выигрыш он или она может разумно ожидать.

«Традиционно меры влияния изучаются для выбора характеристик, то есть для информирования о выборе переменных, которые следует включить в модель [8]. В последнее время меры влияния стали использоваться как механизмы объяснимости [1, 7, 9] для сложных моделей. Меры влияния объясняют поведение моделей, указывая относительную важность входных данных и их направление ». [7]

Например, для бинарного классификатора высокие положительные значения формы (красные или синие значения выше) предполагают, что объекту с большей вероятностью будет «1», в то время как отрицательное значение формы признака предполагает, что он способствует результату, который, вероятно, будет «0».

Группа из Университета Карнеги-Меллона в 2016 году представила семейство показателей Количественное влияние на входе (QII), которые фиксируют степень влияния входов на выходы систем. Используя значения Шепли и другие методы, они попытались вычислить предельное влияние, которое функция сама по себе и вместе с другими функциями на результат.

Составление набора обобщаемых QII и отчетов - это шаг в систематическом мониторинге моделей, чтобы понять, закрадывается ли предвзятость или, по крайней мере, «правильные исходные данные» более важны для модели, основанной на человеческом суждении.

Современные инструменты предоставляют некоторые предопределенные метрики (также известные как QII), чтобы охватить предвзятость данных и модели.

Обратите внимание на то, что первые два набора показателей даже не отражают действительную внутреннюю работу самой модели. Это измерения черного ящика. Некоторые из последних инструментов, выпущенных крупными технологическими компаниями, включают способы изучения нейронных сетей, чтобы понять, как веса и связи работают вместе - например, Google XRAI, который строит своего рода тепловую карту на основе важности входного узла, или любой слой нейронной сети.

Перенести это из академических кругов в реальный мир

Внедряя это в реальный мир, мы теперь видим, что в 2020 году появятся различные программные инструменты. Одним из таких инструментов, стремящихся решить эту проблему, является Truera (привлекла 12 миллионов долларов в виде финансирования венчурным капиталом для своей платформы объяснимости ИИ). Хотя он полезен для глубокого обучения, он одинаково актуален для всех существующих моделей классификации и регрессии.

«Мы изучаем проблему объяснения богатого класса поведенческих свойств глубоких нейронных сетей. В частности, наши объяснения, ориентированные на влияние, решают эту проблему, заглядывая внутрь сети, чтобы идентифицировать нейроны с сильным влиянием на количество и распределение интереса »[4]

У Truera есть несколько отличных тематических исследований, которые могут помочь предоставить ссылки из реального мира [6] [7]. Их платформа, вероятно, станет сильным инструментом для оценки предвзятости в ML.

Помимо Truera и других нишевых инструментов на рынке, Google Cloud и Amazon Web Services анонсировали собственные решения. Инструмент Google Explainable AI и AWS Clarify во время re: Invent 2020. Они реализуют многие из вышеперечисленных концепций и многое другое, чтобы вы могли изучить анализ влияния выбранных функций на модель машинного обучения и проанализировать наборы данных на предмет потенциальных смещений. .

Решения от Google Cloud, AWS и Microsft Azure предоставят убедительный набор инструментов для тех организаций, которые уже работают на своих платформах.

Этическое и справедливое машинное обучение

Модель настроена на максимизацию или приоритизацию узкого набора объективных показателей. Справедливость можно рассматривать как форму неосознанной предвзятости, проистекающей из неправильной (неэтичной) приоритизации выборки данных, выбора характеристик или дизайна модели для оптимизации действительной, но, возможно, близорукой цели. Проблема в том, что в наше время эта цель обычно состоит в том, чтобы заработать как можно больше денег для компании - не обязательно для максимального улучшения жизни или расположения потребителя или гражданина.

В одном исследовании, проведенном Анной Джобин [9], они в общих чертах определили этику ИИ следующим образом:

  • Справедливость
  • Подотчетность
  • Прозрачность
  • Конфиденциальность
  • Способность исправлять или оспаривать *

* Мы добавили последнее, и оно проистекает из «права на разумный вывод» [10], которое пытается предоставить права, аналогичные тем, которые изложены в GDPR для данных. Решения системы ОД должны быть открыты для оспаривания, так же как вы ожидаете обсудить с банкиром результаты заявки на ипотеку.

Этика и справедливость описывают, что правильно, а что неправильно, или что действительно отвечает интересам кого-то (актера). Они определены социальными нормами и не могут быть сформулированы как проблема, решаемая с помощью показателей или даже модели машинного обучения. Люди, вовлеченные в этот цикл, останутся частью этого на ближайшее время. Но это не обязательно означает, что системы машинного обучения не могут быть в каком-то смысле автоматизированными или самодостаточными.

Джон Хукер и Тэ Ван Ким [1] начинают определять этическое значение для машинного обучения в своей статье «Истинно автономные машины этичны». При тестировании SHAP / LIME все еще опасно делать предположения об этическом и причинном объяснении модели, поскольку эти тесты сами по себе являются гипотезами, основанными на характеристиках модели. Однако после анализа влияния модели человек может сопоставить результаты с деловыми, государственными, этическими и другими факторами, чтобы оценить этический риск.

В качестве руководства для построения автономных этических систем машинного обучения они предоставляют ряд принципов и правил. Система машинного обучения будет взаимодействовать с другими «действующими лицами» или «агентами» и следует «плану действий», который генерируется моделями машинного обучения.

  • Разумное доказательство - они предполагают, что если модель, по крайней мере, в одном сценарии, могла бы принять решение, используя справедливую и этическую логику, этого может быть достаточно, даже если возможны другие менее этичные сценарии. Скорая помощь (актер), проезжающая на красный свет (план действий), могла либо делать это должным образом, чтобы спасти жизнь, либо действовать несправедливо, объезжая движение и ускоряя обратный путь в гараж. Как общество, мы обычно исходим из лучших побуждений в этом сценарии.
  • Принцип уважения автономии - для меня [система машинного обучения] неэтично выбирать план действий, который, по моему мнению, мешает плану действий другого агента.
  • Правило обобщения - в нем говорится, что если вы расширите правило [систему машинного обучения] на более широкие слои населения, будет ли оно хорошо обобщаться - для чего оно было разработано? Станут ли какие-либо предположения или веса характеристик обучения неэтичными, если их применить к населению в другой стране, возрастной группе или просто на глобальном уровне? Модель ипотеки, построенная на данных по США, должна хорошо работать, например, в Японии, если модель не сильно зависит от расы или географии.
  • Принцип информированного согласия - система машинного обучения работает так, как задумано, и потенциально автономна, даже если люди временно вмешиваются в ее план действий, ЕСЛИ система машинного обучения предназначена для корректной обработки таких прерываний. Этот человек в контуре для этических суждений действует как посредник для предоставления людям «осознанного согласия», сохраняя при этом надежность модели.

Реализация этого

Давайте поговорим о практических способах создания базового уровня защиты для систем машинного обучения в вашей организации.

  1. Изучите цель системы машинного обучения. Станет ли сама постановка проблемы или бизнес, в котором она будет вестись, источником предвзятости или неэтичного поведения даже для самой хорошо разработанной системы машинного обучения? Даже если это невозможно изменить, предвзятость может быть выявлена ​​и потенциально устранена с помощью интеллектуальной выборки данных или разработки модели.
  2. Изучите данные, используемые для обучения, и отслеживайте текущие производственные данные. Типичны ли данные того, что ожидается от населения в целом? Имеются ли уже врожденные предубеждения в наборах данных, которые следует задокументировать и, возможно, запланировать во время построения модели? Стремясь устранить эту возможность дискриминации с помощью конфиденциальных данных, многие компании удалили из своих систем всю информацию, которая важна для отслеживания и выявления систематических предубеждений по признаку расы, пола, сексуальной ориентации и возраста. Это также может вызвать проблемы при попытке оценить наличие смещения.
  3. Изучите модель и рассчитайте такие показатели, как QII, определенные выше. Подобно поиску по сетке, настройте серию тестов, чтобы продемонстрировать, выглядит ли модель справедливым образом, на основе выборки данных, которые типизируют ожидаемые демографические данные или сценарии в популяции. Разделите данные на основе этических параметров, таких как пол или раса, и посмотрите, верна ли модель. Вам понадобится упрощенный и надежный набор инструментов для реализации подхода на основе SHAP / LIME для отслеживания предвзятости и неэтичного использования.
  4. Создание отчетов о конфиденциальности и предупреждений. После развертывания вам, вероятно, понадобится способ непрерывного мониторинга данных и модели, чтобы увидеть, происходит ли дрейф, снижающий производительность и, возможно, даже худший, приводящий к предвзятости и неэтичному поведению из-за смещения данных в совокупности. Часто это делается группой, которая не строила сами модели. Изучите автоматизацию этого с помощью таких инструментов, как лямбда-функции AWS, AWS Lookout for Metrics или аналогичные инструменты, которые могут отслеживать определенные отклонения от ожидаемых результатов и предупреждать вас о необходимости анализа.
  5. Определите операционную модель. Кто будет отвечать за мониторинг и снижение рисков этих сложных систем машинного обучения для бизнеса? В финансовых услугах, например, при торговле акциями или валютой, используются аналитики рисков для количественной оценки и мониторинга рисков, связанных с трейдерами и управляющими активами. Почти в реальном времени. В случае систем машинного обучения аналитик рисков будет отслеживать больше, чем упрощенная «модель ипотечного риска», о которой говорят. Им нужно будет отслеживать отдельные модели, а также макросистемы на предмет риска и влияния таких вещей, как COVID, на систему и компанию.

Gartner прогнозирует, что к 2023 году 75% крупных организаций будут нанимать специалистов по криминалистике поведения ИИ, конфиденциальности и доверию клиентов, чтобы снизить риски для бренда и репутации.

Эта статья просто коснулась великих исследований и инструментов, разработанных учеными и крупными технологическими отраслями, такими как Amazon и Google. Дальнейшее чтение включено ниже, но в конечном итоге начните разговор, чтобы узнать больше и запустить несколько пилотных проектов. Эти проверки, инструменты и этапы станут общей и важной частью ваших MLOps.

Slalom - это современная консалтинговая компания, «ориентированная на цифровые и облачные технологии», которая глубоко ценит все, что данные и аналитика могут принести компании. Во всех наших офисах по всему миру мы помогаем нашим клиентам прививать современную культуру да та и научиться уважать роль, которую они играют как ее владельцы и распорядители.

Роб Сибо - старший директор в нашем офисе Slalom в Сиднее, бывшем Кремниевой долине, и руководит консалтингом в области данных и аналитики в Австралии.

[email protected]

Ссылки

[1] Истинно автономные машины этичны Джон Хукер, Тэ Ван Ким: https://public.tepper.cmu.edu/jnh/autonomyAImagazine.pdf

[2] Обзор и руководство по AWS Clarify: https://aws.amazon.com/blogs/aws/new-amazon-sagemaker-clarify-detects-bias-and-increases-the-transparency-of-machine-learning- models /? sc_icampaign = launch_amazon-sagemaker-clearify_20201208 & sc_ichannel = ha & sc_icontent = awssm-6483_reinvent20 & sc_iplace = banner & trk = ha_awssm-6483_reinvent20

[3] Алгоритмическая прозрачность через количественное входное влияние Анупам Датта, Шаяк Сен, Яир Зик: https://truera.com/wp-content/uploads/2020/08/Quantitative-Input-Influence-2016.pdf

[4] Объяснения, ориентированные на влияние, для глубоких сверточных сетей Анупам Датта, Шаяк Сен, Клас Лейно, Мэтт Фредриксон, Линьи Ли: https://truera.com/wp-content/uploads/2020/08/Influence-Directed -Пояснения-2018.pdf

[5] Контрольный список рабочей группы Microsoft Aether по вопросам предвзятости и справедливости - http://www.jennwv.com/papers/checklists.pdf

[6] Пример использования Truera - Standard Chartered - https://truera.com/wp-content/uploads/2020/08/Truera-Case-Study-Standard-Chartered.pdf

[7] Пример использования Truera - Объяснение машинного обучения в финансах - https://truera.com/wp-content/uploads/2020/08/machine-learning-explainability-in-finance-an-application-to-default-risk -analysis.pdf

[8] Программа объяснимого ИИ DARPA - https://www.darpa.mil/work-with-us/ai-next-campaign

[9] Природа машинного интеллекта Анна Джобин, Марчелло Йенка, Эффи Вайена: https://www.nature.com/articles/s42256-019-0088-2

[10] Право на разумные выводы: переосмысление закона о защите данных в эпоху больших данных и искусственного интеллекта Сандра Вахтер, Брент Миттельштадт: https://papers.ssrn.com/sol3/papers.cfm?abstract_id= 3248829

[11] Примечание к исследованию: опрос главного специалиста по данным: https://www.wing.vc/content/chief-data-scientist-survey

[12] Добро пожаловать в документацию SHAP: https://shap.readthedocs.io/en/latest/

[13] Портал исследований People + AI: https://pair.withgoogle.com/

[14] MIT Tech Review Фиаско на экзамене в Великобритании напоминает нам, что алгоритмы не могут исправить неисправные системы: https://www.technologyreview.com/2020/08/20/1007502/uk-exam-algorithm-cant- исправить-сломанная-система /