Аудиоверсия этого эссе доступна на этой неделе в выпуске подкаста Production Ready .

Программное обеспечение является мощным и может изменить баланс сил в обществе. Посмотрите, как социальные сети повлияли на то, как мы говорим о политике и обо всем остальном, например. Если политика — это борьба за власть в обществе, то программное обеспечение по своей сути является политическим. Если программное обеспечение мощное, то мы, как люди, создающие программное обеспечение, обладаем властью. Программное обеспечение может быть расистским, и, как разработчики программного обеспечения, я считаю, что мы все обязаны использовать нашу силу для предотвращения существования расистского программного обеспечения.

Если эта тема вызывает у вас дискомфорт, я прошу вас пока не останавливаться. Сделайте паузу и спросите себя, почему вы так себя чувствуете. У всех нас есть решения, которые мы должны принять, и эти темы неизбежны. Устраивайтесь поудобнее, будучи неудобным.

Одна из причин, почему разговоры о расе сложны, заключается в том, что мы не используем общий словарь. Итак, я хочу уточнить несколько терминов заранее. Здесь я позаимствовал свою терминологию из статьи Хрупкость белых: почему белым людям так сложно говорить о расизме.

Разница между предрассудками, дискриминацией и расизмом

Предубеждение состоит из мыслей, чувств и обобщений, основанных на незначительном опыте или его отсутствии, а затем проецируемых на группу людей. У всех есть предубеждения, будь то против людей определенной расы, пола, откуда они или где они ходили в школу. Если вы отрицаете существование предубеждений в других или в себе, то вы бессильны их исправить. Предубеждение внутреннее.

Дискриминация — это внешнее действие, основанное на предрассудках, включая игнорирование, исключение, угрозы, насмешки, клевету и насилие.

Что отличает расизм от дискриминации, так это то, что он поддерживается законной властью и институциональным контролем. Оно исходит от системы власти, которая действует независимо и над действиями любого человека, компании или технологии.

Расизм трудно определить и о нем трудно говорить. Акты насилия совершают не только люди в белых капюшонах. Это сложно и непонятно. Вы можете представить себе «расиста» как человека, который открыто делает и говорит что-то против людей. Но расизм не должен быть открытым. Это может быть тонко. Это может произойти непреднамеренно. Вот почему людям в привилегированных местах легко игнорировать. Как и предрассудки, если мы не будем работать над признанием, выявлением и обсуждением расизма, мы ничего не сможем сделать, чтобы остановить его. «Величайший трюк, который когда-либо проворачивал Дьявол, заключался в том, чтобы убедить мир в том, что он не существует».

Любой акт дискриминации, поддерживающий эту систему и сохраняющий статус-кво, де-факто является расистским. Поймите, когда вы работаете над программным обеспечением, оно может быть расистским, и вы обязаны не допустить этого.

Как технологии могут быть расистскими?

Когда мы создаем программное обеспечение, мы делаем сознательный и неявный выбор в отношении того, как мы представляем себе конечного пользователя, какие данные мы будем использовать и как работают алгоритмы. Поскольку у всех есть бессознательные предубеждения и предубеждения, есть вероятность, что они влияют на указанные решения. Предвзятость кодирования в программном обеспечении известна как «алгоритмическая предвзятость». Эта предвзятость наиболее очевидна, когда мы смотрим на попытки использовать алгоритмы классификации машинного обучения на других людях, такие как распознавание лиц.

Когда инженеры из команды Google Photos создали систему для автоматической маркировки фотографий, она помечала лица темнокожих людей как «гориллы или шимпанзе. Ответ Google состоял в том, чтобы удалить эти слова как действительные теги вместо устранения основной причины.

В своем выступлении на TEDx Джой Буоламвини рассказывает о дискриминации, с которой она столкнулась при использовании программного обеспечения для распознавания лиц. Он вообще не мог ее узнать. Джой столкнулся с этой проблемой на нескольких системах. Она обнаружила, что все они основаны на одних и тех же библиотеках и наборах данных с открытым исходным кодом. Я дам разработчикам, создавшим эти инструменты, право на сомнение и предполагаю, что они не собирались создавать программное обеспечение, которое игнорирует чернокожих. Но это не имеет значения. В этой ситуации результат важнее намерения.

Программное обеспечение также может обеспечивать соблюдение существующих политик дискриминации. Если ваша компания имеет опыт найма людей определенной расы или пола, а затем использует их резюме в качестве обучающих данных для программного обеспечения, которое оценивает поступающих кандидатов, вы получите систему с такими же предубеждениями. Amazon поступила именно так, когда построила систему, которая дискриминировала женщин при приеме на работу, а позже подверглась судебному преследованию из-за этого.

Полицейские управления использовали программный инструмент под названием Compas до того, как утверждается, что он использовался для выявления подозреваемых и прогнозирования уровня рецидивизма. Исследования показывают, что это не только более вероятно, что оно будет неверным в отношении чернокожих подозреваемых, но и с большей вероятностью будет использовано против них. Здесь существует дискриминация не только в самом программном обеспечении, но и в том, как его используют клиенты.

Расизм в программном обеспечении также может принимать форму цифровой красной черты. Вы абстрагируетесь от дискриминации, принимая решения на основе почтового индекса. Такие службы доставки, как Uber Eats и Doordash, с меньшей вероятностью будут обслуживать районы, где преобладают чернокожие. В этих районах в среднем меньше покестопов в Pokemon Go. Данные не обязательно должны включать конкретные точки данных о расе, чтобы непропорционально влиять на людей этой расы. В конце концов, машинное обучение — это поиск закономерностей.

Посмотри, как это работает? Когда данные явно не связаны с расой, всем, кто построил эти системы, позволено либо оставаться в неведении, либо иметь правдоподобное отрицание того, как их программное обеспечение может повлиять на меньшинства. Мы должны исходить из того, что то, что мы строим, потенциально может иметь негативные последствия.

Программное обеспечение не может абстрагироваться от людей, стоящих за ним

Мы не можем придерживаться романтического взгляда на то, что технология является чисто логичной и невосприимчивой к недостаткам человечества. Мы не можем предположить, что, поскольку компьютеры не думают и не чувствуют, они не могут быть предвзятыми. Или что мы можем преодолеть наши предубеждения, руководствуясь данными. Наши предубеждения формируют дизайн программного обеспечения, и это программное обеспечение повторяет наши ошибки. Данные никогда не могут быть полностью объективными; наши предубеждения, которые стоит повторить, у всех есть, будут просачиваться через решения, влияющие на то, какие данные мы собираем, какие данные мы игнорируем и как мы их интерпретируем.

Технология – это отражение того, кто ее создает.

Согласно исследованию, проведенному Национальным институтом стандартов и технологий в 2011 году, программное обеспечение для распознавания лиц, созданное азиатскими компаниями-разработчиками программного обеспечения, с большей вероятностью будет точнее идентифицировать азиатские лица. Кто создает программное обеспечение, влияет на то, как оно работает.

Чем разнообразнее команды, тем меньше слепых зон и меньше ошибок, подобных вышеперечисленным, попадающих в производство или, что еще хуже, в новости. Разнообразие является конкурентным преимуществом. Создание более разнообразной команды не означает «справедливости»; речь идет о том, чтобы внести в эту таблицу больше информации и знаний, чем это могут сделать однородные команды.

Как сказала Fast Company Рэйчел Гудман, штатный поверенный программы ACLU по расовой справедливости: «Многие из вредных последствий не являются преднамеренными. Это исходит от людей, разрабатывающих технологии в закрытых помещениях, в тесном разговоре и не думая о реальном мире.

Ты помнишь Тай? Попытка Microsoft создать бота Twitter с искусственным интеллектом? В 2016 году Microsoft запустила бота Twitter, который будет моделировать свое поведение на основе твитов людей, взаимодействующих с ним. Держу пари, вы можете догадаться, куда пойдет эта история.

«Tay предназначен для того, чтобы привлекать и развлекать людей, когда они общаются друг с другом в Интернете посредством непринужденной и игривой беседы», — заявили в Microsoft. «Чем больше ты болтаешь с Тэй, тем умнее она становится».

Вы не можете пригласить группу людей что угодно в Интернете, не привлекая при этом троллей. Менее чем через день Тэй разразился риторикой о том, что Гитлер был прав и что 11 сентября было делом рук своих. Microsoft должна закрыть проект в кратчайшие сроки.

Эта история — скорее предупреждение о возможности дать троллям возможность, чем что-либо еще; главный урок остается прежним: искусственный интеллект знает только то, что мы ему говорим, и действует только на основании наших указаний.

Как разработчики программного обеспечения, что мы можем сделать?

Системный расизм сложен и коварен. Это не происходит из одного места. Оно приходит отовсюду. Это происходит автоматически из-за систем, созданных до нашего рождения, и продолжает распространяться в американском обществе через ненавистные действия и поддержание несправедливого статус-кво.

Как разработчики программного обеспечения, мы можем формировать инструменты, которые напрямую влияют на жизнь людей, или если они вообще будут созданы. Эта сила означает, что у нас есть выбор: вы собираетесь действовать или будете соучастниками?

Нет двух путей к этому решению, и нет никакого способа избежать его. Работа, которую вы делаете, оказывает влияние на мир, и точка. Характер этого воздействия зависит от вас.

Помимо вашей работы, есть действия, которые может предпринять каждый, независимо от должности. Выходите на улицы. Пожертвуйте свое время или деньги. Голосование.

Как разработчик программного обеспечения, вы можете выступать за изменения в своей работе. Нам нужно более скептически относиться к нашим источникам данных и цинично относиться к вариантам использования и последствиям того, что мы создаем. Итак, вы должны спросить себя:

  • Являются ли используемые вами наборы данных точными? Как вы можете быть уверены?
  • В худшем случае, есть ли способы, которыми наше программное обеспечение может непропорционально повлиять на определенную группу людей? (Кстати, это включает в себя доступность.)
  • Слышим ли мы разные голоса как до, так и после создания нашего продукта?
  • Если вы менеджер, нанимаете ли вы разнообразную команду? И если нет, то почему?

Это те вопросы, которые нам всем нужно задавать чаще. Технология не аморальна и не аполитична. Несмотря на все эти истории, я все еще верю, что это влияние можно использовать для позитивных изменений. Но это может произойти только в том случае, если мы коллективно начнем вести бизнес иначе, чем до сих пор. Поэтому я хотел бы воспользоваться этой возможностью, чтобы спросить вас:

Что вы собираетесь делать по-другому?

Первоначально опубликовано на https://glennstovall.com 16 июня 2020 г.