Что такое алгоритмический уклон?

«Иногда уважение к людям означает обеспечение того, чтобы ваши системы были инклюзивными, например, в случае использования ИИ для точной медицины, иногда это означает уважение частной жизни людей, не собирая никаких данных, и это всегда означает уважение достоинства человека». — Джой Буоламвини

Что такое алгоритм?

Мы определяем алгоритм как способ, предназначенный для достижения определенной цели (которой может быть решение проблемы). Однако, если дать более техническое определение, алгоритмы составляют основу компьютерных программ. Алгоритмы определяют шаги рабочего процесса, который решает проблему.

Алгоритмы необходимы, потому что программное обеспечение работает на фоне технологических устройств, которые сегодня стали незаменимыми в нашей жизни, и эти программы разработаны с использованием алгоритмов. Сегодня не только устройства, которые мы используем, но и отдельные платформы, с которыми мы взаимодействуем, имеют интеллектуальные алгоритмы.

Этими платформами могут быть инструменты социальных сетей или поисковые системы, рекламные объявления, рекомендации фильмов/музыки, приложения для управления персоналом или банковские приложения, которые помогают определять кредитные рейтинги отдельных лиц. В целом было бы правильно определить такие интеллектуальные платформы как приложения на основе искусственного интеллекта (ИИ). Все эти приложения питаются данными, то есть они принимают решения, анализируя данные.

В результате мы говорим о приложениях, которые обучаются и делают прогнозы, извлекая шаблоны/информацию из данных, относящихся к области, для которой мы хотим найти решение. Они могут разговаривать с нами, могут управлять нашим автомобилем и могут на ранней стадии диагностировать болезни наших близких.

Но если вкратце, данные могут стать необъективными, что может негативно повлиять на конечные результаты нашей модели. Давайте рассмотрим определение предвзятости, где она может возникнуть и как мы можем избежать этой проблемы.

Есть ли предубеждения в алгоритмах?

Конечно, как и люди, мы сталкиваемся с предвзятостью в алгоритмах. Технически мы называем это алгоритмической предвзятостью. Систематическая ошибка в алгоритмах состоит из нерепрезентативных или неполных данных. Однако это может быть не единственная причина. Мы также можем непреднамеренно создать предвзятость, когда разрабатываем наши системы, полагаясь на несовершенную информацию, отражающую историческое неравенство. Это человеческая предвзятость. Хуже всего то, что как только мы начнем использовать алгоритм со смещением, мы можем запустить систему с кумулятивно растущим смещением.

Пример предвзятости в действии: автоматические оценки риска, используемые судьями США для установления пределов залога и штрафа, привели к неточным результатам, что привело к более длительным срокам тюремного заключения для определенных групп (цветных людей, особенно чернокожих мужчин) или более высоким залогам для неграмотных. белые.

Можем ли мы проиллюстрировать предубеждения, встречающиеся в алгоритмах, на примерах?

Я могу привести предвзятость в онлайн-рекламе как пример, который почти каждый из нас может наблюдать в повседневной жизни. Отслеживая информацию, такую ​​как ваш пол, этническая принадлежность, продукты, которые вам нравятся или которые вы покупаете, т. е. ваши перемещения на онлайн-платформах и данные о вашем присутствии в Интернете, рекламные объявления разрабатываются и представляются вам таким образом, который будет специфичным для вас. Это называется микротаргетинг.

Я могу порекомендовать документальный фильм, который вы можете посмотреть, чтобы узнать подробности на эту тему: Социальная дилемма.

Предвзятость в словесных ассоциациях — еще один распространенный тип. Это алгоритмическая предвзятость, вызванная неполным представлением данных, которые можно найти в таких приложениях, как поисковые системы и машинный перевод. Исследователи из Принстонского университета разработали ИИ-приложение для анализа 2,2 млн слов. Они обнаружили, что европейские имена воспринимались как более приятные, чем афроамериканские, и что слова женщина и девушка чаще ассоциировались с искусством, чем с наукой и математикой.

При анализе этих словесных ассоциаций в обучающих данных алгоритм ИИ выявил существующие расовые и гендерные предубеждения, проявляемые людьми. Если изученные ассоциации этих алгоритмов использовались для генерации предложений слов в рамках поиска алгоритм ранжирования или как часть инструмента автозаполнения, это может иметь кумулятивный эффект, усиливая расовые и гендерные предубеждения.

Предвзятость в онлайн-инструментах подбора персонала — один из примеров, о которых следует упомянуть. Приблизительно 60% глобальной рабочей силы и 74% руководящих должностей составляют мужчины. Вот почему Amazon перестала использовать свой недавний алгоритм найма с помощью ИИ. При необъективном алгоритме, даже если человек соответствовал требованиям для руководящих должностей, женщины-кандидаты не рекомендовались.

Я упомянул, что предвзятость также была замечена в алгоритмах уголовного правосудия. Согласно отчету ProPublica; Расистская алгоритмическая предвзятость была обнаружена в запросе поддержки принятия решения к судьям в США. Алгоритм присваивает оценку риска вероятности совершения обвиняемым преступления в будущем на основе обширных данных, доступных в записях об арестах, демографических данных обвиняемых и других переменных. По сравнению с белым населением, которое в равной степени склонно к повторным правонарушениям, афроамериканцы с большей вероятностью имели более высокие показатели риска, что приводило к более длительным периодам содержания под стражей в ожидании суда. Это было зафиксировано как историческая человеческая предвзятость и предвзятость, продемонстрированная текущими системами, управляемыми данными.

Еще один пример расовой дискриминации: компания Amazon в тот же день приняла корпоративное решение удалить определенные районы из своей системы доставки Prime. Их решение было основано на следующих факторах:

• Достаточно ли членов Prime в определенном почтовом индексе,
• Находится ли этот почтовый индекс рядом со складом,
• Достаточно ли было желающих доставить на этот почтовый индекс.

Хотя эти факторы соответствовали модели прибыльности компании, они привели к исключению бедных, преимущественно чернокожих районов, превратив эти точки данных в представления для расовой классификации. Результаты непреднамеренно дискриминируют расовые и этнические меньшинства, которые не были включены.

Другой известный пример — технология распознавания лиц, и здесь мы тоже сталкиваемся с предвзятостью. Исследователь Массачусетского технологического института Джой Буоламвини обнаружила, что алгоритмы трех коммерчески доступных программных систем распознавания лиц не распознают более темную кожу.

В целом, по оценкам, набор данных, используемый для большинства систем распознавания лиц, состоит из более чем 75% мужчин и более 80% белых людей мужского и женского пола. Когда человек на фотографии был белым мужчиной, программа идентифицировала правильного человека как мужчину на 99%. Согласно исследованию Буоламвини, процент брака для трех продуктов в целом составлял менее 1%. Однако уровень ошибок был высоким, и идентификация темнокожих женщин как женщин превысила 20% в одном продукте и 34% в двух других продуктах.

В ответ на результаты анализа лица Буоламвини и IBM, и Microsoft взяли на себя обязательство повысить точность своего программного обеспечения для распознавания темных лиц. Я могу порекомендовать другой документальный фильм, в котором вы можете найти подробное объяснение работы Джой Буоламвини: Закодированный уклон.

Тема, которую я хотел бы подчеркнуть здесь, заключается в следующем: признание возможности и причины предвзятости является первым шагом к любому подходу к исправлению предубеждений.

См. также:Цифровые полицейские инструменты «усиливают расовую предвзятость, предупреждает экспертная комиссия ООН»

Есть ли намерение в создании алгоритмической предвзятости?

Хотя эти примеры предубеждений не являются исчерпывающими, они предполагают, что эти проблемы являются эмпирическими реалиями, а не просто теоретическими проблемами. Он также показывает, как получаются эти результаты, и в большинстве случаев без злого умысла со стороны разработчиков или разработчиков алгоритма.

Хотя дискуссии в основном сосредоточены на степени и недостаточном представлении данных, используемых для обучения алгоритмов, в алгоритмах также возникают человеческие, а иногда и бессознательные предубеждения, и худшее из всего то, что модели ИИ воспроизводят эту информацию по мере их использования и может вызвать растущую предвзятость.

Конечно, есть и примеры этих систем, которые осуществляются намеренно и с определенной мотивацией. В случае с Facebook мы все следили за продажей данных Facebook компании Cambridge Analytica на предыдущих выборах в США и, следовательно, за манипуляциями с помощью профилирования и микротаргетинга. Я даже могу порекомендовать документальный фильм для тех, кто не следил за процессом и интересуется: The Great Hack.

Что нужно сделать, чтобы предотвратить предубеждения?

Признание и принятие предубеждений — первый шаг к предотвращению. Существуют также технические и социальные методы с этой целью. Эта работа по предотвращению предвзятости называется алгоритмической гигиеной. Вот несколько способов, которыми мы можем обеспечить алгоритмическую гигиену:

Во-первых, чтобы обеспечить разнообразие данных:

• Пробуем тестировать в разных средах.
• Вовлечение людей в процессы исполнения и оценки и обеспечение контроля за результатами.
• Уделение внимания конфиденциальности и безопасности при работе с конфиденциальными данными.
  Обеспечение того, чтобы были установлены определенные принципы, по которым должны быть уравнены коэффициенты ошибок, чтобы быть справедливыми.
• Чтобы избежать усиления предвзятости, разработчики алгоритмов должны искать способы уменьшить различия между группами без ущерба для общей производительности модели.

Алгоритм гигиены разрабатывается в международных механизмах, следящих за этими исследованиями.

«Есть три больших шага, чтобы избежать предвзятости в ИИ; во-первых, создать этическую культуру, затем обеспечить прозрачность и, наконец, принять меры по устранению исключения и дискриминации, будь то в ваших наборах данных или алгоритмах».