«Позитивное действие: действие или политика в пользу тех, кто склонен страдать от дискриминации, особенно в отношении занятости или образования; позитивная дискриминация».
Последние несколько месяцев я размышлял об этических последствиях некоторых технических достижений. Я написал этот пост, чтобы прояснить вопросы, которые, по моему мнению, мы должны задать, и почему они важны. Этот пост был написан как для нетехнической, так и для технической аудитории.
Если вы или ваши знакомые тоже задумывались над этими вопросами, сообщите мне об этом в ответе ниже или в Твиттере. Спасибо.
Позитивное действие признает, что люди несовершенны и предвзяты. Скорее всего, мы предпочитаем людей, которые выглядят как исторически успешные люди (гетеросексуалы, белые парни). Такие крупные организующие органы (обычно правительства) устанавливают политику, которая помогает тем, кто отличается, иметь равные возможности.
Как действует позитивное действие:
- Правительства (или другие организационные органы) устанавливают ограничения на то, как…
- Организации (такие как корпорации и учебные заведения) принимают решения для обеспечения соблюдения того, что они дают возможность…
- Лица, находящиеся в невыгодном положении.
Но со временем что-то незаметно изменилось... Теперь есть дополнительная часть:
- Алгоритмы — мозг, который мы программируем в наши компьютеры для принятия решений.
Вместо принятия собственных решений организации используют алгоритмы (часто разработанные сторонними организациями) для принятия решений в отношении отдельных лиц.
Вы можете возразить: «Ну, правительства должны говорить организациям, чтобы они использовали «справедливые алгоритмы», и следить за тем, чтобы они предоставляли возможности отдельным лицам.
Но что делает алгоритм справедливым?
Боковая панель 1: Краткая заметка об алгоритмах
Алгоритмы делают вещи более эффективными.
Netflix может либо заплатить нескольким инженерам за поддержку алгоритма, который мгновенно предлагает фильмы для просмотра, либо заплатить тысячам людей за то, чтобы они сами выбрали их для вас.
Amazon может либо заплатить нескольким инженерам за поддержку алгоритма, мгновенно предлагающего книги для покупки, либо заплатить тысячам людей за то, чтобы они выбрали их за вас.
Lyft может либо заплатить нескольким инженерам за поддержку алгоритма, который связывает вас с водителями поблизости, либо заплатить тысячам людей, чтобы они сами выбрали это для вас.
Поскольку Netflix, Amazon и Lyft используют компьютерные мозги, чтобы делать эти предложения, они могут заработать гораздо больше денег на продаже вам, чем компании, которые платят человеческому мозгу за принятие этих решений.
С большой эффективностью приходит отличная возможность заработать деньги.
Теперь перейдем к нашему гипотетическому «справедливому» алгоритму.
Скажем, вы предприимчивый человек и хотите воспользоваться экономическими выгодами, которые стали возможными благодаря алгоритмам. Возможно, вы захотите построить его и заработать ВСЕ ДЕНЬГИ™… но как начать этот процесс?
Ну, в первую очередь вам нужно получить данные для построения алгоритма.
Вот общий путь:
- Идея для продукта.
Пример: система рекомендаций, позволяющая без особых усилий предлагать рекрутерам квалифицированных кандидатов. - Создайте промежуточный продукт.
Пример: платформа, на которой вы платите «кураторам» за просмотр объявлений о вакансиях и поиск по всему миру подходящих кандидатов. Затем отправьте резюме этих кандидатов рекрутерам. - Соберите данные из этого процесса.
Пример: создайте базу данных, полную (1) описаний вакансий, (2) резюме кандидатов, которых вы выбрали, и (3) какие из этих резюме понравились рекрутерам. - Используйте эти данные, чтобы создать алгоритм, который вы изначально хотели создать.
Пример: система рекомендаций, позволяющая без особых усилий предлагать рекрутерам квалифицированных кандидатов. - Уволите всех своих кураторов и извлеките выгоду из того, что ваш дешевый компьютерный мозг принимает важные решения.
Врезка 2: Как эти обучающие данные становятся компьютерным мозгом?
Инженеры предоставляют компьютерам огромное количество данных о том, какие резюме выбрали рекрутеры, а какие нет.
Вы можете подумать, что компьютер составит список на основе этих данных:
- Если в их резюме есть 80% ключевых слов, дайте им 2 балла.
- Если у них есть хотя бы три работы с соответствующим опытом, дайте им 5 баллов.
- Если они поступили в один из этих 14 колледжей, дайте им 2,8 балла.
- … и т.д.
Затем инженеры могут подсчитать и посмотреть, какое резюме лучше всего показать рекрутеру.
Что компьютеры фактически делают с этой информацией, так это создают себе секретный мозг, который может принимать резюме и в одном единственном вычислении сказать вам, захочет ли рекрутер это увидеть или нет.
Но есть загвоздка
Все это время мы строили это, основываясь на том, что делали рекрутеры, а рекрутеры предвзяты… потому что они люди.
Вот только два примера:
- Рекрутеры, ищущие инженеров, реже звонят женщине с таким же резюме, как у мужчины (источник).
- Рекрутеры реже называют кого-то со стереотипным афроамериканским именем, чем кого-то с более кавказским именем (источник).
Сами того не осознавая, мы включили это предубеждение в наш компьютерный мозг.
Итак, я спрашиваю вас, справедлив ли алгоритм?
Тяжело сказать.
Технически, мы построили наш алгоритм на основе того, что рекрутеры сказали нам показать.
Это наша вина, что рекрутеры предпочитают смотреть на белые мужские резюме?
Большинство людей согласятся с тем, что система, которая не показывает рекрутерам кандидатов с именем «Джон», несправедлива. Но как насчет системы, которая лишь немного понижает рейтинг людей по имени «Джон»?
Что, если бы резюме № 32905 было бы первым в списке, если бы это было «Джейн», но поскольку это «Джон», мы показываем их на второй странице?
В этом пространстве начинают просачиваться некоторые вопросы:
- Как мы вообще определяем, что наша система на самом деле предвзято против «Джона»?
- Как только мы узнаем, что наша система предвзято относится к «Джону», как нам измерить насколько?
- И, что еще сложнее, как мы вообще узнаем, где искать это предубеждение против «Джона»? У нас есть множество интуитивных выводов и исследований о гендерных и расовых предубеждениях, но как насчет предвзятости, которую мы даже не ищем?
Тренировочные данные повсюду, как и наша предвзятость
Вернемся к началу: должны ли мы создавать утвердительные алгоритмы?
Интересно, что мы уже знаем, как модифицировать наши системы, и мы можем использовать эту технику для математической компенсации известной погрешности. (См. эту статью или дополнительную информацию о том, как одна команда подходит к этому.)
Но должны ли мы?
Должны ли мы компенсировать наши входные данные, чтобы учесть предвзятость, о которой мы знаем? Насколько? Должны ли мы просто подавлять там, где мы видим несправедливую систему, или мы должны сделать наши системы «несправедливыми» в интересах обездоленных людей?
Алгоритмы, которые принимают решения сегодня, основаны на вчерашних данных предвзятых людей.
Должны ли мы намеренно модифицировать наши алгоритмы, чтобы построить будущее, которое мы хотим?
И если да, то кто должен решать, как мы хотим выглядеть завтра?
