Споры о предвзятости систем ИИ занимают центральное место в этичном ИИ. В этой статье я объясню ключевые аспекты предвзятости ИИ и почему это важно понимать.

Введение

Это первая из нескольких статей, которые я собираюсь написать об этичном ИИ. Я сосредоточусь на предвзятости и объяснимости в ИИ, а также на том, как эти две концепции приводят к этическим проблемам и решениям. В этой статье я расскажу, что такое предвзятость ИИ и почему это важно.

Основные выводы:

  • Предвзятость ИИ — это систематическая ошибка, а не ошибка, допущенная ИИ.
  • Предвзятость ИИ чаще всего исходит из данных, которые ему предоставляют его создатели.
  • ИИ не менее предвзят, чем люди (они могут быть даже более предвзятыми), и уж точно не объективны.

Что такое ИИ?

Искусственный интеллект (ИИ) — это термин, используемый для описания любой компьютерной системы, способной выполнять кажущиеся интеллектуальными действия. Существует множество форм ИИ, большинство из которых подпадают под более конкретный термин «машинное обучение», о котором я здесь говорю.

Так как же машина учится? Говорят, что машина изучает, может ли ИИ, имея некоторые данные и задание, использовать эти данные для выполнения задания. Например, использование температуры и дня года (данные) для прогнозирования продаж мороженого в городе (цель) было бы (очень простой) формой машинного обучения/ИИ.

Большинство лучших современных ИИ — это «нейронные сети». Эти нейронные сети слабо вдохновлены человеческим мозгом; то, как они работают, относительно сложно, но есть два основных свойства, о которых вы должны знать в этом обсуждении:

  • Нейронные сети — это «черные ящики» — очень сложно интуитивно понять, почему они принимают или не принимают те или иные решения.
  • Нейронные сети (как и любое машинное обучение) должны учиться на данных. Они настолько хороши, насколько хороши данные, которые им предоставлены.

Так что же такое предвзятость ИИ?

Для начала рассмотрим пример. Предположим, я хочу создать ИИ, который будет определять, является ли определенное животное на картинке собакой или волком. В идеале ИИ должен говорить «волк», если животное на самом деле волк, и только тогда. Точно так же следует говорить «собака» только тогда, когда животное на самом деле является собакой.

Что означает предвзятость в этом примере?

Во-первых, мне нужно уточнить несколько терминов. В машинном обучении задействовано множество различных типов «предвзятости»; некоторые из них преднамеренны и полезны, но некоторые не преднамеренны и потенциально опасны.

Для целей этой статьи я буду определять «предвзятость ИИ» как любую систематическую ошибку, допущенную ИИ.

Давайте снова посмотрим на ИИ собаки/волка. ИИ не будет идеальным (никакой ИИ не идеален), поэтому иногда он будет называть собаку волком или наоборот.Это ошибка. Однако. это само по себе не является предвзятым.

Предвзятость носит систематический характер. Например, представьте, что ИИ показывает только изображения волков в снегу и никогда не видит собак в снегу. Собаки и волки выглядят довольно похоже, поэтому ИИ, скорее всего, решит, называть ли изображение «собакой» или «волком» в зависимости от наличия снега или нет (что гораздо более очевидно). На самом деле это действительно произошло [1].

В этом случае ИИ принимает неправильное решение на систематическом уровне — его ошибки не случайны, а связаны с тенденциями обучения ИИ, которые мы, люди, не называем «истинными» тенденциями.

Это предвзятость.

Значит, ИИ провалился, не так ли?

Оглядываясь назад на ИИ собаки/волка, легко подумать, что ИИ не справился со своей работой и что он «должен» знать, что нужно смотреть на животных на картинках, а не на фон. Однако это неверный взгляд на это.

Предвзятые ИИ не только выполняют свою работу, но в некоторых случаях делают ее очень хорошо.

Большинство ИИ (пока) вообще не понимают концепции животного, снега или того, что «имеет значение» для задачи. У него нет контекста. В приведенном выше примере ИИ было предоставлено только два набора данных и сказано, что один из них называется «собака», а другой — «волк». Затем его попросили найти наиболее заметную разницу между двумя наборами данных.

То, что эта разница заключалась в наличии снега, ничего не значит для ИИ. Он сделал именно то, о чем его просили.

Вот почему предвзятость опасна. Предвзятость — это случай, когда ИИ делает именно то, что ему говорят, а люди не понимают, что это не то, что они намеревались сделать. Это похоже на желание джина — если создатель не будет осторожен, ИИ может не узнать, что он задумал.

Откуда предвзятость?

Предвзятость может исходить из многих областей, но большинство из них вращается вокруг задействованных данных. Это могут быть непреднамеренные закономерности в данных (например, одновременное появление волков и снега), но это не обязательно.

Недостаток данных также является серьезной проблемой. Предположим, что ИИ должен пометить изображение как собаку или кошку. Если есть 999 изображений собак и только 1 кошка, ИИ может получить точность выше 99%, всегда говоря «собака», даже ничего не изучая. И поскольку ИИ смотрит только на то, насколько хорошо он работает (по некоторым показателям), он может подумать, что это лучший выход.

«Отравленные» данные также являются большой проблемой для ИИ. Это относится к данным, предоставленным ИИ злоумышленником для внесения предвзятости. Например, Microsoft выпустила общедоступного бота под названием «Tay» в Интернете [1]. Менее чем за сутки первоначально дружественный ИИ пришлось отключить, потому что он публиковал множество неонацистских твитов (среди многих других чрезвычайно оскорбительных комментариев). И почему? Microsoft предоставила интернет-сообществу текстовые сообщения для его обучения [1], а об остальном позаботились несколько пользователей Twitter. (Почему Microsoft посчитала это хорошей идеей, мне непонятно.)

Есть много других способов, которыми предвзятость может проявиться в ИИ на более техническом уровне. Решение о том, какие данные включать, у кого или от чего брать данные и даже когда данные поступают, — все это повлияет на ИИ [1]. Если в каких-либо из этих данных есть систематическая погрешность, ИИ отразит эту погрешность.

Значит, исправить это не должно быть просто?

К сожалению, нет. ИИ часто нужны тонны данных (миллионы образцов) для эффективного обучения. Найти большой современный набор данных, свободный от исторических предубеждений и непреднамеренных корреляций, чрезвычайно сложно.

Тем не менее, есть много способов уменьшить предвзятость. Это включает в себя проактивный анализ данных на наличие непреднамеренных шаблонов и выбор подходящих источников данных. Но это также означает активный анализ выходных данных ИИ и проверку их на наличие непреднамеренных предубеждений.

Поскольку большинство ИИ представляют собой «черные ящики», бывает трудно сказать, было ли принятое решение следствием предвзятости или значимой тенденции в данных. Здесь очень помогает область объяснимости ИИ, поскольку она позволяет вам спросить ИИ, какие части данных привели его к определенному выводу. Хотя эта область все еще невелика, она быстро растет, поскольку люди понимают, насколько важно объяснять решения ИИ.

Заключение

Часто говорят, что если ребенок плохо себя ведет, в этом виноваты родители — и это правда. Когда ИИ ведет себя плохо (или предвзято), это вина создателей. ИИ может действовать только в соответствии с данными, которые ему предоставлены, и если ему будут предоставлены необъективные данные, он научится воспроизводить это предубеждение.

ИИ ни в коем случае не объективен. Он не свободен от каких-либо предубеждений или заблуждений, присущих людям. Это предубеждение можно смягчить с осторожностью, и научиться делать это — важная часть создания ИИ.

В заключение я хотел бы отметить, что некоторые случаи предвзятости ИИ могут быть гораздо более опасными, чем перечисленные здесь. Неспособность идентифицировать собаку достаточно безобидна. Но если ИИ не сможет обнаружить рак на системном уровне, это может повлиять на тысячи пациентов.

Вот и все для этого поста; Отдохну до Нового года. Так что всех с праздником!

Основные выводы:

  • Предвзятость ИИ — это систематическая ошибка, а не любая ошибка, допущенная ИИ.
  • Предвзятость ИИ чаще всего исходит из данных, которые ему предоставляют его создатели.
  • ИИ не менее предвзят, чем люди (они могут быть даже более предвзятыми), и уж точно не объективны.

Рекомендации

  1. Роселли, Дрю и Мэтьюз, Джинна и Талагала, Ниша. (2019). Управление предвзятостью в ИИ. WWW ’19: Сопутствующие материалы конференции World Wide Web 2019 года. 539–544. 10.1145/3308560.3317590.