Краткое изложение проблем, с которыми сегодня сталкивается ИИ
Ошибаться - дело человеческое и механическое.
В Детройте холодный зимний день, но ярко светит солнце. Роберт Уильямс решил потратить некоторое время на получение кредита на дом вместе со своими двумя дочерьми. Его жена и свекровь задержались в углу, потягивая теплый напиток и болтая. Внезапно из ниоткуда появились полицейские и резко остановили идеальный семейный день. Роберта без всяких объяснений вырвали из рук его плачущих дочерей, и теперь его руки были скованы холодными наручниками. Полиция увезла его в кратчайшие сроки! Его семья была потрясена и не поверила происходящему на их глазах. Роберт провел 30 часов под стражей в полиции. Затем ему было предъявлено обвинение в краже с залогом в 1000 долларов. Но никто не удосужился спросить Роберта, есть ли у него алиби на время предполагаемой кражи! К счастью для него, он только что опубликовал в Instagram видео из другого места во время ограбления, что предоставило ему твердое цифровое доказательство.
Но что пошло не так? Полиция штата Мичиган собрала все кадры, связанные с кражей, и использовала программное обеспечение для распознавания лиц, чтобы идентифицировать потенциальных подозреваемых из базы данных, содержащей 49 миллионов изображений. Роберт Уильямс был неудачником, идентифицированным алгоритмом. Этот крах правосудия высвечивает две важные проблемы.
Во-первых, распознавание лиц несовершенно; Фактически, это только 95% точности. Конечно, люди, вероятно, считают этот процент довольно высоким. Но каковы последствия этой ошибки в 5%? Эта крошечная ошибка имела трагические последствия для Роберта Уильямса и его семьи, потому что теперь они на всю жизнь травмированы. Кроме того, если бы Роберт не опубликовал фотографию в Instagram во время ограбления, он мог бы все еще находиться в тюрьме сегодня. Некоторые люди могут возразить, что это небольшая цена за дополнительную защиту, которую предлагают эти системы. В конце концов, это всего лишь одна крошечная ошибка, или нет?
В 2009 году Китай начал развертывание общенациональной системы социального кредита. Он создал сеть из более чем 200 миллионов общедоступных камер и целую армию сенсоров. Эти данные в сочетании со всей информацией, полученной с мобильных устройств, дали китайским властям точную информацию о своих гражданах. Идея системы заключается в поощрении «заслуживающего доверия» поведения. Если человек нарушает законы Китая (например, не платит налоги, проезжает на красный свет или курит в поезде), его социальный кредитный рейтинг снижается. Если он будет действовать в соответствии с законом, социальный кредитный рейтинг повысится. Фактически, только в 2018 году 24 миллионам китайцев запретили путешествовать, потому что их социальный кредитный рейтинг был слишком низким.
Проблема усугубляется еще больше, если учесть все население Китая, которое составляет около 1,4 миллиарда человек. Уровень ошибок в 5% в их системе камер может неправильно классифицировать и отрицательно повлиять на 70 миллионов человек. Так что действительно и верно, хотя системы ИИ совершили невероятные подвиги за последние десятилетия (в некоторых случаях даже превзойдя человеческий уровень), мы еще не достигли этого, и их влияние может быть катастрофическим, если им не управлять должным образом.
Предвзятость в глазах смотрящего.
Мы должны беспокоиться не только об ошибках. Предвзятость - еще одна проблема, когда мы создаем алгоритмы искусственного интеллекта. Анализ современной беспилотной автомобильной системы, проведенный Технологическим институтом Джорджии, показал, что датчики и камеры, используемые в этих автомобилях, с большей вероятностью обнаружат человека с более светлым оттенком кожи. Это автоматически означает, что беспилотный автомобиль с меньшей вероятностью остановится перед тем, как врезаться в цветного человека. Это справедливо для всех протестированных систем, и уровень точности снизился на 5% для людей с более темной кожей.
Некоторые люди могут возразить, что машина не может быть расистской, потому что она не понимает понятия расы. Это правда, и на самом деле проблема не в самой природе наших алгоритмов. Возникающие проблемы являются отражением базовых данных, которые мы используем для обучения наших алгоритмов. Это было доказано несколько месяцев назад, когда был выпущен новый инструмент под названием Face Depixelizer. Идея программы состоит в том, чтобы использовать в качестве входных данных пиксельную фотографию человека. Затем система обработает его с помощью ИИ и вернет четкое и точное изображение лица. Когда в систему поступило пиксельное изображение бывшего президента США Барака Обамы в качестве входных данных, алгоритм превратил его в белого человека, хотя пиксельное изображение было хорошо узнаваемо невооруженным глазом. Тот же алгоритм был протестирован с пиксельным изображением Александрии-Окасио Кортес, конгрессмена США с латиноамериканскими корнями, и Люси Лью, известной азиатско-американской актрисы. В обоих случаях алгоритм восстановил их лица, чтобы они выглядели белыми.
Эти алгоритмы восприимчивы к данным, используемым для обучения. Как однажды сказал Джордж Фючсел, один из первых программистов IBM: «Мусор на входе, мусор на выходе». Эти алгоритмы - чистый лист; если они обучены на несбалансированных наборах данных, они автоматически произведут неправильную классификацию. Из-за этого специалистам по обработке данных приходится делать все возможное, чтобы гарантировать, что их набор данных является репрезентативным для моделируемой области. Это непросто, если учесть, что мир, в котором мы живем, уже предвзят. Быстрый поиск медсестер в Google позволяет найти 800 000 ссылок на медсестер-женщин и 600 000 на медсестер-мужчин. Другой поиск врачей обнаружил 2 миллиона ссылок на врачей-мужчин против 1,5 миллиона для врачей-женщин. Цифры представляют собой типичные гендерные стереотипы, согласно которым медсестры обычно изображаются как женщины, а врачи - как мужчины. Если они передаются непосредственно в алгоритм без предварительной балансировки наборов данных, алгоритм будет изучать смещения и применять их в своем суждении (таким образом искажая достоверность результатов).
В 2015 году жертвой этой проблемы стала Amazon. Поскольку компания набирает тысячи людей по всему миру, их инженеры решили создать систему найма ИИ, слишком мощную с ИИ. После его использования несколько раз стало очевидно, что этот инструмент дискриминирует женщин. Причина была в следующем. Когда инженеры проектировали ИИ, им нужно было обучить алгоритм на некоторых данных. Их осенило, что нынешние сотрудники Amazon идеально вписываются в корпоративную культуру организации, у них есть все необходимые реквизиты, и компания довольна их работой. Инженеры рассудили, что если ИИ научится распознавать людей, похожих на уже работающих, он успешно определит перспективных кандидатов. Таким образом, они использовали биографические данные своих нынешних сотрудников для обучения алгоритму. Однако они не осознавали, что 75% рабочей силы в технологической индустрии составляют мужчины. Так что предвзятость была неизбежна! Система Amazon научилась тому, что кандидаты-мужчины предпочтительнее, и наказывала резюме, в которых содержалось слово «женщины». Он также предпочитал кандидатов, которые завалили свое резюме определенными глаголами, имеющими мужской оттенок.
Это был не единичный случай. Microsoft тоже работала над искусственным интеллектом, который в конце концов проявил много отрицательных черт. Все началось как эксперимент в разговоре с пониманием. Microsoft создала чат-бота для Twitter под названием Tay, задача которого заключалась в том, чтобы общаться с людьми посредством обычного разговора. Игривость разговора длилась недолго, и Тэй начал бросать женоненавистнические и расистские комментарии людям, присыпанными ругательствами. Чат-бот начинался как почти чистый лист, и менее чем за 15 часов ему удалось уловить негативные настроения людей, которые с ним взаимодействовали. Это как если бы вы растили ребенка в джунглях и ожидаете, что он станет грамотным. Это просто так не работает.
Более того, онлайн-мир населен различными мнениями, и системы искусственного интеллекта могут быстро сбиться с пути, если им не руководить. Фактически, Tay удалось обработать тысячи сообщений за время своего короткого срока службы и выдать почти 2 сообщения в секунду. Можно только представить, какой ущерб может нанести такая система людям. Это событие также должно напомнить нам, что даже крупные корпорации, такие как Microsoft, иногда забывают принять превентивные меры, чтобы защитить нас от грубого ИИ.
Время объясниться
Для решения этих проблем в последние годы появилось новое подполе ИИ, которое называется Объясняемый ИИ (XAI). Цель состоит в том, чтобы создать алгоритмы, которые не скрывают свою основную работу, а, скорее, прозрачно предоставляют полное объяснение. Мы уже видели различные примеры, когда результаты, полученные с помощью алгоритмов ИИ, оказывались проблематичными. Но были и другие случаи, когда проблемы были не столь очевидны. Компьютерные ученые создали системы, которые, казалось, работали хорошо, и люди слепо доверяли результатам, но они не всегда были правильными.
Великолепный классификатор снега
Классификация хаски и волка - непростая задача, но алгоритмам удается добиться точности 90%. Или они?
Недавний эксперимент в Вашингтонском университете был направлен на создание классификатора, способного отличать изображения волков от хаски. Система была обучена на нескольких фотографиях и протестирована на независимом наборе изображений, что обычно имеет место в машинном обучении. Удивительно, но даже при том, что хаски очень похожи на волков, системе удалось получить точность около 90%. Исследователи были в восторге от такого результата. Однако при запуске функции объяснения, способной обосновать, почему алгоритму удалось получить такие хорошие результаты, стало очевидно, что модель основывала свои решения в первую очередь на фоне. Изображения волков обычно изображали снежную среду, в то время как изображения хаски - редко. Поэтому вместо того, чтобы создать классификатор «Волки против хаски», исследователи невольно создали отличный детектор снега. Эта ошибка не была очевидна, просто взглянув на традиционные показатели производительности, такие как точность! Конечно, такой игрушечный эксперимент проводился в лаборатории, но что произойдет, если жизнь пациента будет зависеть от этого ИИ?
Ссылка отсутствует
Классифицировать уровень риска пациента - непростая задача, особенно если учесть обязанности, которые возлагаются на это решение. В 1990-х годах Питтсбургский университет провел исследование для прогнозирования риска осложнений у пациентов с пневмонией. Цель заключалась в том, чтобы выяснить, какие из пациентов с пневмонией относятся к группе низкого или высокого риска. Пациентов из группы низкого риска отправляли домой и прописывали коктейль из антибиотиков и куриный суп, а остальных госпитализировали. Система, созданная на основе архитектуры искусственной нейронной сети (ИНС) (модели, вдохновленной мозгом), проанализировала не менее 750 000 пациентов в 78 больницах в 23 штатах с уровнем смертности 11%. Удивительно, но удалось получить высокую точность около 86%.
Когда система была протестирована на реальных пациентах, врачи заметили серьезную неисправность. Пациенты с пневмонией, которые также страдали астмой, относились к группе низкого риска. Врачи сразу же подняли брови, потому что ошибочная классификация была серьезной. Они отметили проблему с программистами, и система была отправлена обратно на чертежную доску. Компьютерные ученые тщательно проанализировали это, но они не смогли найти никаких ошибок ни в данных, ни в существующей системе. Однако, когда они попытались глубже понять, как система пришла к такому выводу, они сразу же столкнулись со стеной. ИНС, лежащая в основе системы, основана на внутренней работе мозга. Однако обычно его считают черным ящиком. Это означает, что мы даем ему входные данные, мы получаем выход, но мы не можем четко видеть внутреннюю работу алгоритма. Это делает задачу поиска объяснения чрезвычайно сложной и, в некоторых случаях, невозможной для человека. Чтобы преодолеть это препятствие, они построили систему, основанную на правилах, на основе архитектуры ИНС. При этом они были способны читать и понимать правила, которые генерировались системой.
Удивительно, но система, основанная на правилах, тоже пришла к тем же выводам, что и ИНС. Однако исследователи далее обнаружили, что, согласно полученным данным, пациенты, страдающие пневмонией и астматиками, выздоравливали быстрее, чем другие. То, что упустил алгоритм, было причиной того, что они стали лучше. Это определенно не потому, что они были астматиками! Причина заключалась в том, что раньше врачи автоматически считали пациентов с астмой группой повышенного риска. Из-за этого они были немедленно помещены в реанимацию, что в конечном итоге привело к более эффективному выздоровлению, чем у обычных пациентов. Это доказывает две вещи; Прежде всего, важна человеческая интуиция, поскольку врачи сразу отметили эту проблему, когда столкнулись с результатами работы автоматизированной системы. Во-вторых, это должно напомнить нам, что корреляция не подразумевает причинно-следственной связи.
Слишком много вариантов ведет к неверным решениям.
Решения, которые мы видели до сих пор, относительно просты, но что, если все станет бесконечно сложнее? Автономным транспортным средствам придется принимать трудные решения, и мы должны понимать причины этих решений. К счастью для пациентов, перенесших пневмонию, эту систему контролировал человек, но что, если у нас есть автономные системы, такие как беспилотные автомобили? Подумайте об известной проблеме с тележкой, когда у беспилотного автомобиля нет возможности избежать аварии. И в результате наверняка кто-то погибнет! Что выбрать ИИ?
Ставить человека выше животных?
Пассажиры над пешеходами?
Спасать больше жизней меньшим количеством?
Предпочитаете женщин мужчинам?
Ставить на первое место молодое перед старым?
Выбирать людей с более высоким социальным статусом среди других?
Наградить законопослушных преступников?
Или, может быть, придерживаться курса и не вмешиваться?
В большинстве случаев нет правильного или неправильного. В результате кто-то умрет. На самом деле у нас нет ответа на эти вопросы. Но давайте отложим аргументы в сторону, потому что это еще не конец проблемы. После того, как кто-то умирает, уместно задать вопрос: кто возьмет на себя ответственность за аварию? Программист, корпорация, выпустившая автомобиль, или владелец автомобиля?
Владелец автомобиля не имеет прямого права голоса при управлении автомобилем. Он может выбрать пункт назначения, но это почти все. Так что маловероятно, что виноват автовладелец. Корпорация, производившая автомобиль, использовала программу, разработанную разработчиком программного обеспечения. Он не имел права голоса по поводу кода как такового, и перед тем, как установить его в свои автомобили, он прошел тщательное тестирование, наложенное на автомобильные компании национальными властями. Программист, вероятно, использовал новейшие методики для разработки правильного кода. Как только автомобиль начал работать, он начал получать информацию, основываясь на собственном опыте поездок. В некоторых случаях эти автомобили даже учатся на опыте других автомобилей. Конечно, программист мало контролирует то, что на самом деле знает машина, когда она находится в дороге. Итак, мы прошли полный круг, кажется, никто не несет ответственности, и мы никем не мудрее.
Заключение
Перед нами стоит задача найти лучший способ продвинуть вперед ИИ, создавая решения, которым мы можем доверять и понимать. Поэтому движение в сторону XAI вполне естественно. Текущие модели ИИ непрозрачны, не интуитивно понятны и сложны для понимания людьми, но если мы хотим, чтобы люди доверяли автономным решениям систем ИИ, пользователи должны понимать, иметь уверенность и эффективно управлять ими.
Помимо проблем, упомянутых ранее, есть также другие соображения, такие как:
- Алгоритмы и автоматизация становятся все более распространенными. Многие бизнес-задачи решаются с помощью аналитики, основанной на искусственном интеллекте, и мы наблюдаем проникновение в области, в которых человеческий эксперт традиционно неоспорим (например, медицинская диагностика). ИИ может обрабатывать гораздо больше данных, чем люди-операторы; они быстрее и не устают. С другой стороны, мы должны быть осторожны, поскольку предубеждения и ошибочные решения могут распространяться быстрее.
- Модели искусственного интеллекта становятся огромными с миллионами параметров, что затрудняет их понимание пользователями-людьми. Некоторые системы обучаются на людях-операторах, но этого недостаточно, чтобы завоевать доверие людей. Кроме того, в некоторых моделях нет контроля над логикой алгоритма, и нет простого способа исправить какие-либо его ошибки.
- С введением 25 мая 2018 года Европейского общего регламента по защите данных (GDPR) подходы с использованием черных ящиков стало намного сложнее использовать в бизнесе, поскольку они не могут дать объяснение своей внутренней работы. GDPR также ввел право на удаление помимо права на забвение. Так что любой желающий может сделать запрос в любую организацию и потребовать удаления своих персональных данных. Однако это намного сложнее, чем кажется. Дело не только в удалении личных данных из результатов поиска. Его необходимо удалить из базы знаний, в которой хранятся эти данные, из резервных копий для восстановления после сбоя, из данных, отраженных в другом центре обработки данных, и физически удалить с жесткого диска (а не просто удалить ссылку). Все это делает задачу удаления слишком сложной.
Перед нами стоит задача найти лучший способ продвигать эти инновации, создавая при этом решения, которым мы можем доверять и понимать. Мы еще не достигли цели, и ИИ не следует рассматривать как магическое божество, за которым мы слепо следуем. С другой стороны, мы не можем игнорировать это и преимущества, которые он может нам предложить. Если нам удастся противостоять проблемам, упомянутым ранее, мы действительно сможем улучшить жизнь многих людей.
Это отрывок из книги, для которой я все еще ищу издателя. Итак, если вам понравилась статья и вы хотите связаться со мной, сделайте это в 🐦 Twitter, 🔗 LinkedIn, 📷 Instagram или 😊 Facebook.
Проф Алексей Дингли - профессор искусственного интеллекта в Мальтийском университете. Он проводил исследования и работал в области искусственного интеллекта более двух десятилетий, помогая различным компаниям внедрять решения на основе искусственного интеллекта. Его работа была оценена международными экспертами как Мировой класс, и он получил несколько местных и международных наград (например, Европейского космического агентства, Всемирной организации интеллектуальной собственности и Организации Объединенных Наций). Он опубликовал несколько рецензируемых публикаций и входил в рабочую группу Malta.AI, созданную правительством Мальты с целью сделать Мальту одной из ведущих стран мира в области искусственного интеллекта.
