Поскольку мы все больше и больше полагаемся на машинное обучение и нейронные сети, предвзятость, возникающая в результате этих алгоритмов, станет все более серьезной проблемой. Даже сейчас мы наблюдаем проблематичную расовую предвзятость в отношении афроамериканцев в системе, известной как COMPAS (профилирование управления исправительными правонарушителями для альтернативных санкций).

Цель COMPAS состоит в том, чтобы предсказать вероятность совершения преступником повторного преступления с использованием числовой оценки, где более высокое число указывает на более высокую вероятность повторного преступления. Проблема, однако, в том, что чернокожие получают более высокие баллы, чем белые, даже если они не совершали уголовных преступлений. В среднем число ошибочно обозначенных чернокожих подсудимых почти в два раза выше, чем белых. По данным ProPublica, чернокожие обвиняемые на 77% чаще попадали в группу высокого риска.

Этические последствия этого предубеждения глубоки. Во-первых, неправильно маркировать так много людей опасно. На каждого ошибочно названного преступника приходится один потенциально опасный на улицах. Невинные жизни потенциально находятся под угрозой исключительно из-за предвзятой системы. Во-вторых, ресурсы, которые идут на реабилитацию настоящих преступников, тратятся впустую. Люди, которые действительно нуждаются в помощи, не получат ее, а люди, которые могут и не нуждаться в ней, но при этом являются чернокожими, получают лечение. Другая проблема заключается в том, что оценка явно не учитывает все факторы. Иногда люди попадают в неприятные ситуации или вынуждены делать то, чего они не хотят или не хотят. Их наказание не должно усугубляться из-за количества.

Наконец, недостатки в этих алгоритмах увековечивают себя. Если он начнет предвзято, то он по своей сути увидит, что больше чернокожих будут получать более высокие оценки, и, в свою очередь, с большей вероятностью в будущем он будет высоко оценивать чернокожих. Нынешняя структура общества в США уже вытесняет цветных, и COMPAS — еще одно препятствие, с которым им нужно столкнуться, чтобы конкурировать с белыми.

Есть и другие примеры предвзятости машин, если их не остановить. Например, Microsoft создала чат-бота, использующего Twitter. Сначала он говорил что-то вроде «люди очень крутые», но в конце концов «научился» восхвалять Гитлера и унижать женщин. Алгоритм YouTube с большей вероятностью порекомендует белых ютуберов, чем черных ютуберов. Это проблема машинного обучения в целом, это не обучение в том же смысле, в котором учатся люди или животные. У него нет понятия правильного или неправильного, только истинного или ложного. И из-за этого он не может судить о ситуации в отрыве от цифр и расчетов.