Обзор статистической основы обеспечения справедливости

Идея о том, что то, что произошло в прошлом, может служить хорошим предсказателем будущего, является центральным принципом невероятного успеха машинного обучения (ML). Однако этот подход к прогнозированию поведения прошлое как прелюдия все чаще подвергается проверке из-за его предполагаемых неудач, связанных с предвзятостью, дискриминацией и справедливостью. Например, открытие, что алгоритм кредитных карт Apple давал женщинам меньше кредитов, чем мужчинам; обвинение в том, что широко используемое программное обеспечение для оценки риска рецидивизма дискриминирует чернокожих подсудимых. Эти репортажи не только привлекают заголовки новостей, но и вызывают раздражение в нашем закодированном чувстве справедливости ¹.

В сфере уголовного правосудия ведутся устойчивые дискуссии о том, подходят ли существующие антидискриминационные законы для надзора за алгоритмами прогнозирования. Кроме того, растет число исследователей, изучающих, как мы можем гарантировать справедливость в алгоритмах прогнозирования в соответствии с этими законами (например, Barocas & Selbst, Huq). Как показали недавние волнения и протесты по поводу системной дискриминации, последствия неправильной ошибки очень серьезны. По мере того, как все больше и больше нашей жизни становится автоматизированным, возникает необходимость в ускорении наших усилий, направленных на то, чтобы сделать эту технологию приемлемой для общества в целом.

В этой статье я рассмотрю идею о том, как добиться справедливости в ML. На первый взгляд эта идея кажется нелогичной, но, как показано в нескольких статьях, она имеет прочное статистическое и юридическое обоснование.

Эта статья предназначена для всех, кто имеет базовые знания о машинном обучении и интересуется, как мы можем работать над обеспечением справедливости в машинном обучении.

Что справедливо?

Справедливость - это социальный идеал. Как сказал один ученый,

Справедливость - это то, что люди говорят, пока они согласны.

В свободном обществе этот идеал вызывает споры и постоянно развивается. Поэтому неудивительно, что в литературе по ML (например, Verma & Rubin, Narayan) встречается так много определений справедливости.

Несмотря на отсутствие окончательного соглашения о справедливости, в США есть устоявшиеся законы, которые защищают основные права людей, несмотря на их различия. В частности, различия, такие как раса, пол и религия, представляют собой набор защищенных групп, которые позволяют обращаться с людьми справедливо, особенно в сфере занятости (Раздел VII Закона о гражданских правах 1964 года. ) и уголовного правосудия (Положение о равной защите Четырнадцатой поправки).

Современные подходы к обеспечению справедливости

Как следствие этих законов и истории дискриминации в прошлом, основной подход к обеспечению справедливости в ML и алгоритмах прогнозирования в целом заключается в том, чтобы исключить использование данных из защищенных групп. Янг и Добби² составили список из восьми имеющихся в продаже инструментов, наиболее часто используемых в системе уголовного правосудия, и обнаружили, что все из них исключают расу (защищенную группу) в качестве входных данных.

Однако исключения защищенных групп в качестве входных данных недостаточно. Как отмечают некоторые ученые, у нас все еще остаются коррелированные переменные, которые равносильны использованию защищенных переменных. Например, почтовый индекс может выступать в качестве прокси для гонки. Тем не менее, нет единого мнения о том, следует ли исключать и их. В том же списке коммерчески доступных инструментов Янг и Добби обнаружили, что только три из восьми исключают использование коррелированных переменных. Другими словами, можно утверждать, что большая часть наиболее часто используемых алгоритмов прогнозирования, 5/8 (62,5%) нарушает установленные законы, защищающие людей с защищенными атрибутами. Это потенциальные судебные иски, которые ждут своего часа!

Текущие подходы можно резюмировать следующим образом.

Контрольный показатель (включая все переменные):

Общие (исключить защищенные группы):

Ограничительный (исключить защищенные группы и коррелированные переменные):

Проблема для разработчиков алгоритмов заключается в том, что дальнейшее исключение переменных на основе их корреляции с защищенными группами в конечном итоге сделает алгоритм практически бесполезным. Например, в исследовании Янга и Добби они обнаружили, что все их входные переменные коррелировали с защищенными переменными. Таким образом, следование духу основного подхода, заключающегося в устранении защищенных атрибутов, лишит алгоритм машинного обучения каких-либо входных данных!

У нас есть проблема:

Как добиться справедливости в машинном обучении и в то же время сохранить его полезность?

Статистическая основа для обеспечения справедливости

Поуп и Сиднор3 представили простую статистическую основу для устранения эффектов защищенных переменных и их заместителей. Эта структура была использована и дополнительно исследована Янгом и Добби² в контексте досудебных прогнозов.

Это работает так: допустим, мы делаем прогноз. Например, вероятность того, что обвиняемый совершит повторное преступление до суда. На основе этого прогноза мы можем решить, следует ли освободить обвиняемого до суда.

В этой структуре мы представляем характеристики обвиняемых тремя типами переменных:

  • Защищенные (Xp): переменные, представляющие защищенные группы. Например, раса, пол, национальное происхождение, религия.

  • Коррелированные (Xc): переменные, которые коррелируют с защищенной переменной. Например, почтовый индекс или уровень образования, который может быть показателем расы.

  • Некоррелированные (Xu): переменные, которые представляют данные, не коррелированные с защищенными группами и их прокси.

Для простоты авторы предполагают прогнозную модель с использованием линейной регрессии (обыкновенного наименьшего квадрата):

Другими словами, прогноз равен сумме константы (Бета-0) плюс незащищенные переменные, коррелированные переменные, защищенные переменные и их весовые коэффициенты (Бета-1, Бета-2, Бета-3) плюс член ошибки (E ). Авторы также обсудили, как эту модель можно распространить на более сложные нелинейные модели в рамках предложенной структуры.

Методика прогнозирования в рамках этой структуры состоит из 2 шагов:

Шаг 1. Обучите прогнозирующую модель и получите оценки коэффициентов. То есть Бета-0, Бета-1, Бета-2 и Бета-3 из приведенного выше уравнения.

Шаг 2: Сделайте прогнозы, используя оценки коэффициентов из шага 1 и средние значения защищенных переменных.

Вот и все! Этот метод не только обманчиво прост, но и противоречит интуиции в том смысле, что мы используем защищенные переменные и их прокси как часть алгоритма для обеспечения справедливости!

Почему это работает?

Давайте начнем со второго шага в обратном направлении, так как этот шаг содержит основные изменения и на самом деле довольно интуитивно понятен.

За исключением использования оценочных коэффициентов, единственное различие между этим шагом и первым шагом состоит в том, что вместо использования данных с защищенными характеристиками мы используем их среднее значение.

Точнее, мы используем средний вектор защищенных групп для населения. Это означает, что два человека, которые различаются только по защищаемой характеристике, не получат разных прогнозов. Например, если раса является защищенной переменной, то модели не будет известен расовый профиль человека. Говорят, что он «слеп» к воздействию защищенной переменной. Именно этого мы и хотим от честного алгоритма машинного обучения.

Но как насчет коррелированного термина? То есть,

Разве это не включает прокси-эффекты защищенной переменной? Ответ - нет, потому что первый шаг. Поуп и Сиднор объясняют это так:

Во-первых, давайте посмотрим на оценку общепринятого подхода:

(i)

То есть сумма константы и некоррелированных и коррелированных переменных с их соответствующими коэффициентами; который, как мы знаем, содержит косвенные эффекты из-за включения коррелированных переменных.

Теперь сравните это с оценкой для эталонного уравнения:

(ii)

Предполагая, что Бета-3 больше нуля, мы видим, что Гамма-2 не может быть равна Бета-2.

Это потому, что в (ii) мы оцениваем с защищенной переменной, а в (i) мы оцениваем без нее. Наша интуиция подсказывает нам, что коэффициент Гамма-2 несет оценку мощности прокси. Другими словами, Гамма-2 несет термин, который позволяет Xc быть коррелятом Xp.

Давайте разберемся с этим дальше. Поскольку Xc коррелирует с Xp, мы можем предположить, что:

(iii)

Используя стандартную формулу смещения пропущенной переменной из экономической литературы, мы можем заменить эталонное уравнение на (iii):

Сравните это с общепринятым подходом (i),

Игнорируя постоянные и ошибочные члены, мы теперь видим, что Гамма-2 оценивается в сторону Бета-2 плюс Бета-3, умноженная на Альфа-С, где Бета-2 - это некоррелированный весовой коэффициент (то, что авторы называют ортогональным коэффициентом), а Альфа- C - взвешенный коэффициент корреляции. То есть,

Включая защищенную переменную Xp на шаге 1, мы фактически делаем коэффициент для Xc независимым от Xp. Ян и Добби сформулировали это так:

«Оценка этой эталонной модели позволяет нам получать прогнозные веса для коррелированных характеристик, которые не подвержены влиянию прокси, именно потому, что мы явно включаем X_protected. Таким образом, этот первый шаг оценки гарантирует, что мы исключим все косвенные эффекты от включения X_correlated »(стр. 34)

Таким образом, мы можем быть уверены, что Бета-2 не «загрязнен» коррелятами. Другими словами, он не содержит прокси-эффектов от Защищенных переменных.

Насколько это точно?

Используя сумму квадратов ошибок в качестве меры, Поуп и Сиднор проанализировали точность прогнозов различных формулировок статистической основы. Результат показывает, что предложенная ими структура является третьей по точности после эталонной модели и общей модели, но более точной, чем ограничительная модель:

  1. Контрольная модель
  2. Общая модель
  3. Предлагаемая модель
  4. Ограничительная модель

Как и ожидалось, эталонная модель и общая модель были более точными, чем предлагаемая модель, поскольку они включают использование защищенных переменных и их заместителей. Однако из-за слабого юридического статуса такой практики разработчикам алгоритмов может потребоваться использовать более ограничительную модель (при условии, что они могут найти переменные, которые могут считаться некоррелированными с другими переменными). Предлагаемая модель позволяет избежать необходимости прибегать к ограничительному подходу.

Янг и Добби применили эти модели к большому набору данных досудебных дел в период с 2008 по 2013 год из Нью-Йорка. Они также тщательно перекрестно ссылались на досудебные дела о том, действительно ли обвиняемый явился в суд. В результате получился корпус данных о 200 000 обвиняемых.

Их выводы подтверждают правильность выводов Поупа и Сиднора. Более того, хотя верно то, что мы жертвуем точностью ради справедливости, Янг и Сиднор показали, что различия в точности между разными алгоритмами чрезвычайно малы. Например, при коэффициенте освобождения 50% частота неявки в суд составляла:

  • Оценка: 8,35
  • Обычный: 8,38
  • Предложено: 8,40

Согласно исследованному набору данных предлагаемая модель приведет только к восьми дополнительным отказам.

Насколько это законно?

Поскольку этот фреймворк использует данные из защищенных групп, нарушает ли он закон? Например, пункт о равной защите Четырнадцатой поправки налагает две фундаментальные защиты в отношении расы (см. Huq ⁴):

  1. Расовые классификации
  2. Расистские намерения

Итак, если раса используется в этих рамках, нарушает ли это законы о дискриминации? Ян и Добби утверждали, что это не так. Несмотря на то, что структура использует защищенные группы, это делается для достижения «нейтрального прогноза расы».

Классификации, основанные на «защищенных характеристиках», подвергаются «строгой проверке» судами (т.е. № 1 выше). Однако Ян и Добби утверждали, что Конституция «запрещает любую расовую классификацию, кроме как средство правовой защиты от конкретных правонарушений». Они утверждали, что фреймворк

«Не должны подвергаться строгой проверке, учитывая, что использование / рассмотрение расы не предназначено для различения или обращения с людьми по-разному на основе принадлежности к определенной расовой группе, а с точностью до наоборот». (стр.37)

Они утверждают, что даже если он будет отмечен, он выдержит любую юридическую проверку, поскольку цель процедуры «приспособлена к цели устранения и исправления косвенных эффектов и исторических предубеждений, которые могут быть« встроены »в алгоритм ...» (например, # 2 выше, см. стр.37)

Янг и Добби признают, однако, что «отсутствие понимания основных статистических свойств прямых и косвенных эффектов в алгоритмах может привести наивного наблюдателя к выводу, что оба предложения являются незаконными, поскольку они противоречат общепринятому запрету на использование или учет защищаемых характеристик ». (стр.36) Мы, ML и связанные с ним сообщества, обязаны обучать и распространять структуру таким образом, чтобы это было легко понятно судам и широкой общественности.

Заключение

Часто говорят, что ИИ, и машинное обучение в частности, глубоко изменят мир. Однако, какие типы отношений мы устанавливаем с этой зарождающейся технологией и как изменится наша жизнь, еще предстоит определить. Недавние возражения против алгоритмов прогнозирования, например запрет на использование инструмента для прогнозирования мошенничества в Нидерландах, запрет на программное обеспечение для распознавания лиц в США и отказ от прогнозирования оценок A-level в Великобритании показывают, какие трудности мы ведем. свободное общество, создающее симбиоз, приемлемый для всех.

Мы не можем спотыкаться в будущем, не осознавая своего прошлого, и мы не должны подавлять технологии, которые предоставляют нам беспрецедентные возможности для преобразования общества к лучшему. Чтобы машинное обучение стало зрелым, нам необходимо учиться, обучать и принимать обоснованное решение о том, какими должны быть желательные характеристики этой технологии.

«Человек станет лучше только тогда, когда ты заставишь его увидеть, какой он на самом деле». Антон Чехов

В этой статье я выделил статистическую основу, которая направлена ​​на обеспечение справедливости в машинном обучении, сохраняя при этом полезность алгоритма. Несмотря на кажущуюся парадоксальность, концепция Поупа и Сиднора оказалась как теоретически, так и юридически обоснованной. Модель, созданная с использованием этой структуры, действительно теряет некоторую степень точности по сравнению с юридически спорными моделями; однако это делается таким образом, чтобы исключить влияние ввода от защищенных переменных и их прокси.

Эта работа также поднимает важный вопрос о том, что означает «точность» в машинном обучении. Например, является ли точность простым вопросом количества правильных прогнозов, сделанных алгоритмом? Как выразились Поуп и Сиднор, возникает вопрос:

«Что важнее - правильно спрогнозировать результаты (« в среднем правильно ») или правильно взвесить различные характеристики (« добиться правильного результата »)?»

С этой точки зрения многие из упомянутых ранее жарких споров о справедливости алгоритмов можно по существу рассматривать как разницу в акцентах. Такие дебаты имеют давнюю историю в философии и этике. Несомненно, до тех пор, пока мы расходимся во взглядах на идеалы, которых мы придерживаемся, эти дебаты, вероятно, будут продолжаться. Таким образом, описанная здесь работа заслуживает большего внимания. Это практическое решение, которое теоретически удовлетворяет требованиям закона без серьезного ущерба для предсказательной силы алгоритма.

использованная литература

[1] Мин Сюй, Седрик Анен, Стивен Р. Кварц. Право и добро: распределительная справедливость и нейронное кодирование справедливости и эффективности https://science.sciencemag.org/content/320/5879/1092 (2008)

[2] Кристал Янг и Уилл Добби, Равная защита с помощью алгоритмов: новая статистическая и правовая база, ДОСТУПНО SSRN 3462379 (2019)

[3] Девин Г. Поуп и Джастин Р. Сиднор, Внедрение антидискриминационной политики в моделях статистического профилирования, 3 AEJ: Policy 206 (2011)

[4] Хук, З. Азиз. Расовая справедливость в алгоритмическом уголовном правосудии, Duke Law Journal, Vol. 68, (2019)

Спасибо Марку Дэвиду, Райану Ричардсу и Рону Эспесету за комментарии к предыдущему проекту.