Компромисс человеческого предубеждения и точности

Компромисс человеческого предубеждения и точности

Понимание того, как исторические данные могут привести к алгоритмическому смещению на наивном примере модели прогнозирования компенсации

Быть человеком - значит быть предвзятым?

Предубеждение - это тенденция или склонность к предпочтению или нежеланию одного набора над другим. У всех людей есть определенная степень предвзятости, потому что мы по своей сути запрограммированы на распознавание любого другого как угрозы. Из-за этого неявного предубеждения мы склонны бессознательно приписывать черты и качества обычно стигматизируемым группам в обществе. Сюда входят группы по признаку пола, расы, национальности или географического происхождения. Согласно Стэнфордской энциклопедии философии -

«Исследование« скрытой предвзятости »предполагает, что люди могут действовать на основе предрассудков и стереотипов, не намереваясь делать это»

Теперь, если мы знаем и понимаем этот факт, у нас есть способ устранить это неявное предубеждение, то есть осознавать и распознавать, как оно влияет на принятие наших когнитивных решений. Это потребует сознательных усилий по изменению стереотипов и корректировке нашей точки зрения.

Бесконечный поиск точности

Цель машинного обучения - получать наиболее точные прогнозы. У специалистов по данным есть несколько показателей для количественной оценки поставленной цели за счет сведения к минимуму известных ошибок прогнозирования. В случае проблем регрессии этими показателями являются среднеквадратическая ошибка, средняя абсолютная ошибка, значение R-квадрата и т. Д. Для алгоритмов классификации метрики включают AUC, точность, точность, чувствительность, специфичность и т. Д. Несколько методов используются для дальнейшей настройки, а затем точной настройки параметров и гиперпараметров.

Все сводится к оптимизации одного конкретного компромисса - компромисса смещения и дисперсии; убедиться, что мы получаем точные прогнозы для любой части данных о населении.

Незаметный компромисс

При получении более высокой точности забывается один факт - данные, собранные людьми, пронизаны человеческой предвзятостью. The Guardian хорошо формулирует этот факт:

Хотя можно сказать, что нейронные сети пишут свои собственные программы, они делают это для достижения целей, поставленных людьми, используя данные, собранные для человеческих целей. Если данные искажены, даже случайно, компьютеры усугубят несправедливость.

Человеческая предвзятость может закрасться в любой момент процесса обработки данных и принять форму алгоритмической предвзятости. Конечно, наиболее уязвимым моментом является разнообразие собранных данных. И это также связано с оптимизацией компромисса смещения и дисперсии, как упоминалось ранее. Кроме того, либо эти данные собираются людьми, либо процесс сбора данных настраивается людьми. Это означает, что подсознательно агент сбора данных также может быть источником предвзятости, попадающей в конвейер. Более того, на выводы, полученные на основе сгенерированных прогнозов, также может влиять субъективность человека, интерпретирующего результаты. Непосредственным следствием алгоритмической предвзятости могут быть дискриминационные действия против или в отношении определенных групп людей.

Удивительно, но это не новая проблема. В статье Что нам делать с предубеждениями в ИИ (HBR, 2019) рассказывается о том, как еще в 1988 году британская медицинская школа, принимавшая решения о приеме на основе алгоритма, была признана виновной в предвзятости в отношении женщин и с неевропейскими именами. Интересно, что этот алгоритм продемонстрировал точность 90–95% при согласовании решений, принимаемых человеком.

Более свежий пример алгоритмической предвзятости был выделен в этой статье Washington Post в 2016 году. В нем говорится о программном обеспечении, которое COMPASS использовалось по всей стране в Соединенных Штатах для принятия решений об освобождении под залог и вынесении приговора, которые организация ProPublica обнаружила предвзято против афроамериканских подсудимых.

Давайте посмотрим на пример

Гендерное неравенство на рабочем месте существовало и по-прежнему широко распространено. Таким образом, исторические данные о сотрудниках обязательно должны иметь тенденцию к предвзятому отношению к женщинам. Чтобы понять, как действует алгоритмическая предвзятость, давайте возьмем пример исторических данных о вознаграждении старших должностных лиц публичных компаний . Мы создаем модели с учетом и без характеристики пола старшего сотрудника, чтобы спрогнозировать их прямое вознаграждение. Далее мы сравниваем результаты, чтобы увидеть, как включение функций, чувствительных к смещению, может привести к дискриминационным результатам.

О данных

Данные были получены от BoardEx с использованием Wharton Research Data Services. Он охватывает четыре географические категории: США, Великобритания, Европейский союз (ЕС) и все другие страны. Два набора данных использовались для получения различных характеристик, связанных с вознаграждением старших должностных лиц публичных компаний:

1. Данные о вознаграждении: включают индивидуальные данные (взятые из годовых отчетов) о текущих и прошлых запасах опционов на акции, прямую компенсацию, время до выхода на пенсию с каждой обслуживаемой должности, время, отработанное в компании, информацию о совете директоров. (если обслуживает), отраслевую категорию фирмы, информацию о прошлых советах директоров (если обслуживает).

2. Характеристики индивидуального профиля: включают данные о поле, образовательном уровне, возрасте, сети или связях.

Подробный словарь данных доступен здесь.

Очистка данных

В данных были повторяющиеся значения из-за того, что у компаний было несколько тикеров, они были удалены. После чего количество уникальных BoardID (уникальный идентификатор для досок компаний) в данных составило 17 000 из США, 5 000 из ЕС и Великобритании каждый и около 8 000 из других стран. Окончательные объединенные данные (все страны) содержали информацию примерно по 325 тыс. Директоров / старших должностных лиц.

Однако для каждого директора данные были многократно взяты из годовых отчетов компаний за разные годы. Например, если директор служил в компании в период с 2000 по 2010 год, то для этой пары «директор-компания» имеется 10 записей. Для нашего анализа мы сохранили пару «директор-компания» с самым высоким суммарным прямым вознаграждением директора X в компании Y.

После выбора переменных, наиболее релевантных для нашего анализа, то есть важных для определения размера вознаграждения старшего офицера, окончательный набор данных имел - 80879 строк и 21 переменную. Теперь наши данные таковы, что каждая строка представляет собой уникальное сочетание директора и компании.

Примечание. Мы будем использовать полную прямую компенсацию в качестве зависимой переменной (Y) в нашем анализе.

Исследовательский анализ - действительно ли данные необъективны?

Глядя только на количество женщин и мужчин в наших данных, мы видим огромное несоответствие. У нас 9 908 женщин по сравнению с 70 971 мужчиной в старших офицерах!

Это также подтверждается распределением гендерного соотношения или долей старших офицеров-мужчин.

Давайте посмотрим на среднюю общую прямую компенсацию с разбивкой по полу. Как видно ниже, средняя общая прямая компенсация для мужчин почти вдвое больше, чем для женщин.

Теперь давайте посмотрим на две переменные, которые можно рассматривать как прокси для доступа к возможностям.

Удивительно, но нет большой разницы в распределении времени, проведенного в компаниях, между представителями обоих полов. Это указывает на то, что старшие должностные лица, независимо от пола, уделяют компаниям одинаковое время, но получают разные суммы компенсации.

Сравнивая распределение квалификаций старших офицеров по полу, мы видим, что в целом женщины, как правило, имеют более высокую квалификацию. Это может указывать на тенденцию к тому, что для достижения наравне со своими коллегами-мужчинами женщинам требуется более высокая квалификация.

Подход к моделированию

Сначала мы пробуем регрессию Лассо, чтобы увидеть, учитывается ли модель переменной Gender. Наша зависимая переменная или Y - это общая прямая компенсация

Модель не только выбирает пол как признак, но также предсказывает общую прямую компенсацию для мужчин примерно на 135 единиц больше, чем для женщин. R-квадрат для лассо равен 0,38. Таким образом, модель способна объяснить только 38% дисперсии в общей прямой компенсации.

Далее, чтобы получить более высокую точность, было предпринято попытка усиления градиента, которая дала R-квадрат 0,57. И, следовательно, удалось уловить более высокую дисперсию в общей прямой компенсации.

Согласно GBM, вопреки нашим ожиданиям, «пол» не стал важной переменной. Однако средний прогнозируемый общий размер прямого вознаграждения мужчин был почти вдвое выше, чем у старших офицеров-женщин. Для дальнейшего изучения этого вопроса была запущена модель GBM без учета «пола» в качестве переменной. И все же среднее прогнозируемое общее прямое вознаграждение для старших офицеров-женщин было ниже, чем для их коллег-мужчин.

Ограничения нашего примера

Хотя мы взяли пример прогнозирования полной прямой компенсации, важно учитывать, что ни одна организация не использует такой алгоритм, который использует для этой цели такие переменные, как пол, раса, национальность и т. Д. Набор данных был выбран, чтобы проиллюстрировать, как исторические данные могут способствовать социальной предвзятости в прогнозах! Еще один момент, о котором следует помнить, заключается в том, что для старших должностных лиц большинства компаний компенсация предоставляется не только напрямую. Существуют косвенные компоненты компенсации, которые включают акции, опционы и долгосрочные планы стимулирования. Из-за редкости этих функций они не были включены в анализ. Поскольку данные охватывают организации из разных стран, также важно знать, что компенсации, налоговые льготы и структуры фирм различаются от страны к стране. И, следовательно, это могло исказить результаты.

Помня об этих предостережениях, по-прежнему важно осознавать тот факт, что простой прогнозирующий анализ компенсации также может давать социально предвзятые результаты даже при повышении точности прогнозов.

Вывод

Итак, что мы можем с этим поделать? Как мы можем делать «этичные» прогнозы с помощью машинного обучения?

Одно из решений - использовать веса.

1. Добавление различных весов к переменным с неявным смещением для каждого класса населения, на который могло повлиять социальное смещение. Например, в случае взвешивания КОМПАС или нормализации можно использовать количество предыдущих арестов афроамериканцев и их белых коллег в зависимости от их доли населения.

2. Придавайте больший вес другим переменным, не зависящим от социальных предубеждений, например серьезности преступления, чем предыдущим арестам.

Другое решение может заключаться в том, чтобы продолжать мониторинг результатов модели с данными в реальном времени, предполагая, что социальная предвзятость в данных со временем уменьшится.

Помня об этом, для справедливости прогнозов переход к «Объясняемому машинному обучению / искусственному интеллекту» будет распространяться и давать более социально объективные данные. Важным шагом в этом направлении является Общий регламент ЕС по защите данных или GDPR. Использование данных в большей степени регулируется со специальной защитой, применяемой к чувствительным характеристикам населения, таким как пол, раса, этническое происхождение, национальность, географическое положение, религиозные убеждения, генетика, членство в профсоюзах и т. Д. В соответствии со статьей 9.

Еще одним интересным моментом в этом постановлении является закон, согласно которому даже данные о местонахождении потребителей в Интернете считаются персональными данными в соответствии со статьей 4; использование любых личных данных зависит от согласия владельца в соответствии со статьей 6. Более того, в соответствии со статьей 13 компании уполномочены информировать потребителей о том, как их данные используются.

Мы до сих пор не знаем, в какой степени человеческая предвзятость влияет на справедливость алгоритмов машинного обучения. Но опять же, как говорит Шерил Сандберг: «Мы не можем изменить то, о чем не подозреваем, и как только мы осознаем, мы не можем не изменить»!

использованная литература

[1] Общий регламент ЕС по защите данных (вопросы и ответы), Human Rights Watch (2018 г.)