Если вы не белый, алгоритмы машинного обучения могут стать смертным приговором.

Эта статья также является частью публикации Tech in Policy . TIP фокусируется на использовании технологий во благо и проливает свет на их более злонамеренные или небрежные реализации.

Независимо от того, знаете вы или нет, ваши поисковые запросы в Google, вопросы, заданные Siri, и хронология Facebook - все это зависит от искусственного интеллекта (ИИ) для эффективной работы. Искусственный интеллект - это моделирование процессов человеческого интеллекта машинами. Цель искусственного интеллекта - создавать модели, которые могут выполнять определенные задачи так же разумно, как и люди, если не лучше. Большая часть ИИ, с которым вы сталкиваетесь ежедневно, использует технику, известную как машинное обучение, которая использует прогнозирующее моделирование для генерации точных прогнозов при задании случайных объемов данных. Поскольку прогностические модели построены для поиска реляционных закономерностей в данных, они учатся отдавать предпочтение эффективности, а не справедливости. Модели машинного обучения, построенные на непредставительных данных, могут закрепить предвзятость в алгоритмах машинного обучения.

Большинство наборов данных, используемых для информирования моделей искусственного интеллекта, практически не содержат генетических вариаций. Фактически, начальные наборы данных в среднем составляют 81% европейцев. Отсутствие разнообразия в сборе массовых данных способствовало расовым различиям в смертности от рака, лечению, адаптированному для американцев европейского происхождения и различиям в дерматологических диагнозах. В то время как нехватка репрезентативных данных и правительственные постановления об автоматизированном принятии решений способствовали разногласиям по поводу расы в основных средствах массовой информации, алгоритмическая предвзятость способствовала широко распространенным расовым предрассудкам в отношении доступности здравоохранения в Соединенных Штатах.

Федеральный закон США защищает характеристики, которые нельзя использовать в процессе принятия решений. Эти защищенные атрибуты включают, помимо прочего, пол, расу, инвалидность и религию. Однако в машинном обучении систематическая ошибка возникает, когда комбинация функций обучения, которая очень похожа на защищенный класс, вводится в один из алгоритмов модели. Даже если исходные защищенные классы исключены из обучения машины, другие атрибуты могут привести к близкому прокси любого заданного защищенного класса. В Соединенных Штатах не существует эквивалента Общего регламента по защите данных Европейского союза, который возлагает на компании ответственность за предвзятость и дискриминацию при принятии автоматизированных решений. В Соединенных Штатах предвзятость в системе здравоохранения, основанной на алгоритмах, способствует менее адекватному уходу за маргинализованными пациентами.

Предположим, что алгоритм машинного обучения, предназначенный для принятия решений о том, кто должен получать дополнительные медицинские услуги, использует предыдущие расходы пациента на здравоохранение в качестве ориентира. Хотя прямая информация о расе не помещается в систему, доход сильно коррелирует с расой. Из-за исторического неравенства и системного расизма в Соединенных Штатах цветные люди с большей вероятностью будут иметь более низкий доход и реже пользоваться медицинскими услугами из-за отсутствия доверия к поставщикам медицинских услуг. Даже когда черные и белые пациенты тратили одинаковую сумму денег на медицинские расходы, у двух расовых групп не было одинакового уровня потребностей: черные пациенты обычно платили больше за активные вмешательства, такие как экстренные визиты по поводу диабета или осложнений гипертонии. Теперь вернемся к алгоритму машинного обучения: изменение алгоритма для устранения предвзятости увеличит процент чернокожих пациентов, получающих дополнительную помощь, с 17,7% до 46,5%. Используя доход, который является прямым показателем расы, система косвенно учится определять приоритеты при принятии решений о допуске на основе расы.

Алгоритмические предубеждения представляют маргинализованных пациентов более здоровыми, что лишает их возможности получать специализированную помощь, в которой они нуждаются. . Инструмент онлайн-оценки риска рака молочной железы рассчитывает более низкий риск для чернокожих и латиноамериканских пациентов по сравнению с белыми пациентами с идентичными факторами риска для здоровья. Смещенный алгоритм удерживает цветных пациентов от дополнительных обследований, даже если цветные пациенты имеют гораздо более высокий риск заболевания. В другом примере пациенты, посещающие отделение неотложной помощи с болью в спине или боку, оцениваются по тринадцатибалльной шкале, чтобы определить, связана ли боль пациента с камнями в почках. Более высокий балл означает меньшую вероятность боли из-за камней в почках. Если вы оказались чернокожим пациентом, алгоритм оценки добавляет к вашей оценке три балла. На сегодняшний день нет эмпирических данных, свидетельствующих о том, что боль у чернокожих с меньшей вероятностью указывает на наличие камней в почках. В качестве последнего тревожного примера алгоритм, разработанный Американской кардиологической ассоциацией для прогнозирования смертности у пациентов с острой сердечной недостаточностью, присваивает пациентам не-чернокожего возраста три дополнительных точки риска: тем, кто считается подверженным более высокому риску, оказывается больше внимания. Предвзятые алгоритмы приводят к более высокой вероятности того, что пациенты не-чернокожего населения будут постоянно с большей вероятностью обращаться к специализированной помощи. Примечательно, что многие алгоритмы, широко используемые в системе здравоохранения, продолжают оказывать существенное негативное влияние на людей, которые исторически недопредставлены.

Проблемы предвзятости ИИ никоим образом не новы для компьютерного сообщества; однако неясно, осознает ли медицинское сообщество эту проблему. Алгоритмический уход за пациентами приводит к менее адекватному уходу за людьми, стремящимися противостоять волне системного расизма, учитывая, что отсутствие разнообразия в больших данных и правилах автоматического принятия решений не были улучшены федеральным правительством США. Напротив, европейские правила обработки данных гласят, что разработчики средств автоматизации машин должны использовать соответствующие математические и статистические методы, чтобы минимизировать риск ошибки и предотвратить дискриминационные эффекты. Независимо от географического положения, бесспорно, что борьба с этими предрассудками требует внимательного отношения к данным, использования искусственного интеллекта для выявления предвзятости и создания разнообразных команд. Федеральное правительство должно гарантировать, что те, кто стоит за автоматизацией, этически и юридически обязаны гарантировать, что ИИ стоит на стороне справедливости.