Справедливость и предвзятость
Расовые предубеждения в программном обеспечении
Технологическая индустрия действительно не настолько прогрессивна
Индустрия программного обеспечения была одной из самых прогрессивных, и такие компании, как Twitter, делали упор на разнообразии. Все больше и больше компаний Кремниевой долины участвуют в Pride Week и создают информационные программы для найма людей из недостаточно представленных групп. Они отмечают Месяц черной истории и начали отмечать 19 июня. Несмотря на все это, в этих компаниях глубоко укоренились признаки расовой дискриминации.
Расизм в языке
В языке, который инженеры программного обеспечения используют на работе, существует расовая предвзятость. Например, существует концепция контроля доступа, которая называется белый и черный список. Белый список позволяет этому конкретному объекту связываться с вашим сервисом. С другой стороны, занесение в черный список исключает эту сущность из связи с вашей службой, потому что вы считаете эту сущность злонамеренной.
Разработчики программного обеспечения должны выбирать слова, которые не увековечивают метафору «белый - хорошо, черный - плохо». Им необходимо пересмотреть эту терминологию, чтобы положить конец этому типу бинарного мышления. Например, «белый список» можно изменить на «acceptlist», а «черный список» можно переопределить на «denylist». Это действительно не так уж и сложно.
Расизм в машинном обучении: обработка изображений
Расовые предубеждения более ощутимы в коде, который разрабатывают инженеры-программисты. Алгоритмы машинного обучения, особенно системы распознавания лиц, являются яркими примерами систем с расовыми предубеждениями. В 2015 году инженер-программист заметил, что Google Фото классифицирует его черных друзей как горилл [1]. Google решил эту проблему, просто удалив горилл из набора данных. К сожалению, Google не потратил время и силы на то, чтобы должным образом изменить свой алгоритм классификации. Вместо этого они выбрали легкий выход.
Чернокожих нельзя дегуманизировать, и с ними нужно обращаться одинаково. К сожалению, при разработке алгоритма Google не подумал о темнокожих людях. Еще более постыдно, что они не приложили достаточно усилий. Бьюсь об заклад, если бы у Google было больше чернокожих рабочих, Google бы правильно изменил алгоритм. Фактически доля чернокожих в штате Google составляет 2,5% [2].
В другом случае неправильной классификации исследователи провели эксперимент по распознаванию лиц, проанализировав производительность коммерческих систем распознавания лиц [3]. Эти исследователи определили, что коммерческие системы имеют коэффициент ошибок до 34% для темнокожих женщин, а у светлокожих мужчин - около 0,8%. Это существенная разница.
Так почему мы наблюдаем эту проблему?
В задачах классификации машинного обучения прогнозная модель создается путем анализа всего набора данных. Просматривая весь набор данных, модель может улавливать характерные особенности каждой группы. Однако проблема в том, что набор данных несбалансирован, особенно когда задача связана с гонкой. Модель может хорошо работать для определенной группы, если объем данных смещен в сторону этой конкретной группы. Например, в одной компании исследователи заявили, что их система распознавания лиц имеет точность 97%. Однако данные, которые они использовали, были белыми на 83% [3].
Исправить этот дисбаланс данных можно, добавив больше данных о других расах. Добавление большего количества данных может значительно увеличить время обучения модели. Это также может ухудшить показатели других расовых групп. Это проблемы, но если компании хвастаются равенством, инженеры должны делать все возможное, чтобы это произошло. В противном случае это всего лишь разговоры.
Расизм в машинном обучении: здравоохранение
Расовая предвзятость в программных системах может даже привести к катастрофическим последствиям. Прогнозные модели в здравоохранении являются виновниками сохранения несправедливости в здравоохранении. Отчеты показали, как больницы и страховые компании использовали прогностическую модель под названием Optum, которая, к сожалению, не позволяла многим чернокожим получать услуги по уходу с высоким риском [4].
Однако эта модель не была разработана с учетом расовых предубеждений; На самом деле Optum не рассматривал расу как фактор. Единственная метрика, на которой он сосредоточился, - это стоимость. Данные показывают, что по сравнению с белыми пациентами, имеющими такое же количество хронических заболеваний, черные пациенты ежегодно обходятся на 1800 долларов меньше медицинских расходов [4]. Таким образом, модель отдавала предпочтение белым пациентам, поскольку белые пациенты выиграли бы больше.
Однако разница в стоимости объясняется множеством причин. Одна из основных причин заключается в том, что чернокожие пациенты, как правило, имеют более низкий доход и поэтому обычно реже пользуются медицинскими услугами [5]. Они могут воздерживаться от обращения за дополнительной помощью, и в результате это ухудшает состояние здоровья.
Данные также показывают, что, когда черные и белые пациенты тратят одинаковую сумму, у чернокожих пациентов часто возникают более важные потребности [5]. Они тратили больше средств на активные вмешательства, такие как экстренные визиты при критических состояниях здоровья. Модель Optum отдавала предпочтение белым пациентам, которые были более дорогостоящими, но более здоровыми по сравнению с чернокожими пациентами.
Из-за того, что модель не учитывает расу, она увековечивает системное расовое неравенство в системе здравоохранения, и, к сожалению, больницы не лечат самых больных. Они лечат только белых богатых людей.
Последние мысли
При разработке кода или даже разговоре о коде важно помнить о расе. Также так же важно призвать кого-то к этому, если он или она не является инклюзивным. Это единственный способ остановить цикл расовых предубеждений.
Йен - инженер в Twitter, который также работал с многочисленными клиентами над повышением их технических навыков для работы с более чем 350 клиентскими сессиями.
использованная литература
[1] Винсент, Джеймс. Google« исправил свой расистский алгоритм, удалив горилл из своей технологии маркировки изображений». The Verge, The Verge, 12 января 2018 г., www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo-recognition-algorithm-ai.
[2] Годовой отчет Google о разнообразии за 2018 г.. Https://static.googleusercontent.com/media/diversity.google/en//static/pdf/Google_Diversity_annual_report_2018.pdf
[3] Хардести, Ларри. «Исследование обнаруживает предвзятость по признаку пола и типа кожи в коммерческих системах искусственного интеллекта». Новости Массачусетского технологического института, 11 февраля 2018 г., news.mit.edu/2018/study-finds-gender-skin-type-bias-artificial-intelligence-systems-0212.
[4] Джонсон, Кэролайн Ю. Расовые предубеждения в медицинском алгоритме отдают предпочтение белым пациентам, а не больным чернокожим пациентам. The Washington Post, WP Company, 24 октября 2019 г., www.washingtonpost.com/health/2019/10/24/racial-bias-medical-algorithm-favors-white-patients-over- больные-черные-пациенты /.
[5] Вартан, Старре. Расовые предубеждения, обнаруженные в алгоритме серьезного риска для здоровья. Scientific American, Scientific American, 24 октября 2019 г., www.scientificamerican.com/article/racial-bias-found-in-a-major-health-care-risk-algorithm/.
