Есть две вещи, которые, по мнению большинства людей, не могут быть предвзятыми: данные и они сами. В чем-то они правы. Ни данные, ни какой-либо отдельный человек по своей сути не являются предвзятыми. Хотя ни данные, ни люди по своей сути не предвзяты, это не означает, что на них нельзя повлиять и внушить им существующие предубеждения, которые останутся с ними на всю жизнь.

В предыдущем посте я задавал вопрос Может ли машинное обучение устранить расовые различия в медицине? Многие компании, применяющие машинное обучение и искусственный интеллект в области медицины, ответят громким Да! Если вы копнете немного глубже, вы можете получить такие ответы, как Наши алгоритмы не учитывают расу или Мы использовали стандартизированный подход к доступу к состоянию здоровья пациентов, чтобы ограничить предвзятые предубеждения в отношении того, как к ним относятся. Тем не менее, черные и небелые латиноамериканские пациенты обнаружили, что различия остались такими же, если не хуже, после того, как алгоритмы, предназначенные для управления уходом за почти 200 миллионами человек в год, были реализованы. Если эти алгоритмы были созданы для дальтоников, почему чернокожие и небелые латиноамериканцы не получают одинакового качества помощи?

В марте 2019 года исследование показало, что системы визуализации для беспилотных автомобилей на 5% реже обнаруживают более темную кожу при любом освещении, чем более светлую кожу. Исследователи впервые признали эту проблему после того, как заметили, что чернокожие составляют необычно высокий процент инцидентов, связанных с беспилотными транспортными средствами. Хотя модели, ответственные за самоуправляемые автомобили, не были созданы с учетом предубеждений, система предубеждений все же была построена не только на предубеждениях моделистов, но и на данных.

Проблема с подходом для дальтоников заключается в том, что существует предположение об отсутствии предвзятости, потому что мы не создавали его так, чтобы он был предвзятым. Поскольку мы специально не моделировали алгоритм для получения несправедливых результатов на основе расы, он не может быть несправедливым. Построив модель, в которой решения принимались только на основе данных и стандартной практики, мы устранили любую возможность смещения после того, как алгоритм заработает. Но что произошло бы, если бы предвзятость не вводилась, а всегда существовала?

Предубеждения и слепые пятна существуют в больших данных так же, как и в индивидуальном восприятии и опыте. Тем не менее, существует проблематичное убеждение, что большие данные всегда являются лучшими данными и что корреляция так же хороша, как и причинно-следственная связь.

— Кейт Кроуфорд

Системы для дальтоников не дальтоники

Подходы для дальтоников эффективны только в том случае, если вы активно выступаете против дальтонизма. Это только два примера реальных последствий, которые исходят от систем дальтоников, не принимая во внимание, что даже необработанные данные могут быть предвзятыми. Игнорируя расу, система здравоохранения никогда не учитывает, что чернокожие пациенты тратят на здравоохранение ту же сумму, что и белые пациенты, из-за постоянных низких затрат, низкокачественных вариантов и более высоких показателей заболеваемости. Эта оплошность привела к тому, что только 17% чернокожих пациентов получили адекватные направления, в то время как 45% чернокожих пациентов должны были получить дополнительную помощь.

Игнорируя расу, инженеры никогда не принимают во внимание тот факт, что цветная пленка, чрезвычайно важный артефакт компьютерного зрения, была специально создана для захвата только белой кожи, что, в свою очередь, делает все современные системы обработки изображений отрицательно настроенными на темную кожу. Это не только приводит к тому, что чернокожие пешеходы с большей вероятностью могут быть сбиты Tesla, но также означает, что программное обеспечение для распознавания лиц менее эффективно, например, когда FaceID от Apple не может различить лица для некоторых азиатских и чернокожих пользователей или высокая количество ложных срабатываний для цветных людей в программном обеспечении, управляемом полицией.

Если мы хотим построить умные, справедливые системы, нам нужно быть активными в создании умных, справедливых решений существующих предубеждений, которые, вероятно, существуют намного дольше, чем многие из нас живут. Как специалисты по данным, инженеры данных и специалисты по моделированию машинного обучения, мы обязаны не только создавать работающие этические системы, но и системы, которые работают для всех нас.