Узнайте о терминологии объяснимого ИИ

Искусственный интеллект стал важной частью автоматизации в различных областях. Однако для развертывания моделей обучения ИИ в реальной жизни ИИ все же необходимо преодолеть «проблему черного ящика». Чтобы решить эту проблему, в настоящее время исследователи ИИ сосредоточились на области объяснимого ИИ (XAI). Область XAI направлена ​​​​на то, чтобы оснастить текущие модели обучения ИИ прозрачностью, справедливостью, подотчетностью и объяснимостью. Как только эти функции будут полностью разработаны, это приведет к ответственному ИИ, который можно будет использовать в практических случаях в разных областях.

В настоящее время наблюдается рост числа исследовательских работ, связанных с интерпретируемостью и объяснимостью ИИ. Однако мало что известно о том, что именно подразумевается под интерпретируемостью и объяснимостью ИИ и являются ли эти термины разными или дублирующими по смыслу. В этой статье я предлагаю различные концепции XAI, которые будут полезны всем, кто хочет работать в области XAI.

Прежде всего, XAI помогает гарантировать, что обучающий набор данных, а также обученная модель не будут предвзятыми при принятии решений. Кроме того, XAI поможет в отладке моделей обучения, а также привлечет внимание к различным враждебным возмущениям, которые могут привести к неправильным прогнозам или решениям. Что еще более важно, XAI даст представление о причинно-следственной связи, установленной моделью обучения, а также рассуждения модели. Следует отметить, что при усложнении моделей обучения снижается их интерпретируемость и повышается производительность; следовательно, существует обратная связь между производительностью и интерпретируемостью модели обучения. При разработке методов XAI следует сосредоточиться на целевых пользователях системы обучения, чтобы сделать системы обучения надежными для своих пользователей. Кроме того, следует учитывать конфиденциальность пользователя. Следовательно, чтобы использовать ИИ в реальных приложениях, во-первых, нам нужно сделать ИИ подотчетным, объяснив его решения и сделав его прозрачным, сформировав строительные блоки для ответственного или этичного ИИ.

Теперь мы сосредоточимся на определении терминов и номенклатур, наиболее часто используемых в сообществах Responsible AI и XAI.

Понятностьотносится к функции модели обучения, при которой пользователь может понять функцию модели (как работает модель) без каких-либо объяснений относительно внутренней процессы, происходящие в модели обучения. Это похоже на термин Разборчивость в контексте ИИ.

Понятностьозначает способность модели обучения отображать полученные знания таким образом, чтобы они были понятны пользователю.

Это понятие постижимости модели проистекает из постулатов Михальски, в котором говорилось, что «результаты компьютерной индукции должны быть символическими описаниями данных объектов, семантически и структурно подобными тем, которые может дать эксперт-человек, наблюдая за теми же объектами. Компоненты этих описаний должны быть понятными как отдельные «фрагменты» информации, непосредственно поддающиеся интерпретации на естественном языке, и должны комплексно связывать количественные и качественные понятия »- Р. С. Михальски, Теория и методология индуктивного обучения, в Машинное обучение, Springer , 1983, стр. 83–134.

Интерпретируемостьобозначает пассивную характеристику модели обучения, относящуюся к степени, в которой данная модель обучения имеет смысл для пользователя.

Объяснимость – это активное свойство модели обучения, описывающее процессы, выполняемые моделью обучения, с целью прояснить внутреннюю работу модели обучения. . Это связано с понятием аргумента или объяснения, когда существует интерфейс между пользователем и лицом, принимающим решение.

Можно предложить апостериорное объяснение модели обучения, однако интерпретируемость модели обучения — это особенность, которая достигается за счет дизайна самой модели обучения.

Прозрачностьдостигается моделью обучения, когда она понятна сама по себе, т.е. необходим другой интерфейс или процесс.

Из приведенных выше определений становится ясно, что понятность является сутью XAI, поскольку он в той или иной степени включен в различные термины. Интерпретируемость и прозрачность — очень близкие понятия, поскольку полностью интерпретируемая модель обучения в конечном итоге унаследует свойство прозрачности. Обратите внимание, что понятность требует как понятности модели обучения, так и понимания человеком, поэтому методы XAI должны быть сосредоточены на понимании как задачи, которую должна выполнять модель обучения, так и пользователя модели обучения. В результате это ориентированное на пользователя понятие XAI делает его ориентированным на человека ИИ.

XAI можно переопределить, включив зависимость объяснимости модели от пользователей следующим образом: для пользователя объяснимый ИИ — это объект, который предоставляет детали и причины, облегчающие его функционирование. понимать.

Цели XAI (от наиболее востребованных к наименее востребованным)

Информативность.Большинство исследовательских публикаций последних лет в области XAI имели целью извлечение информации или знаний о внутренней работе модели обучения.

Переносимость.Объяснимость моделей обучения приводит к их повторному использованию в разных приложениях. Однако обратите внимание, что не каждая переносимая модель обучения объяснима. Переносимость является второй наиболее часто используемой причиной для проведения исследований в области XAI.

Доступность.Модели обучения ИИ с возможностью eXplainable позволяют конечным пользователям глубже погрузиться в процесс отладки и разработки модели обучения. Объяснимость также обеспечивает легкий доступ для нетехнических пользователей к пониманию внутренней работы модели обучения.

Уверенность.Чтобы создать ответственный ИИ, объяснимая модель обучения должна обеспечивать уверенность в отношении своей функции. Требования устойчивости, стабильности и надежности модели обучения приводят к необходимости оценки достоверности модели обучения. Следовательно, большая исследовательская работа проводится в области оценки уверенности в модели обучения в области финансов и медицины.

Справедливость.Объяснимость модели обучения подчеркивает предвзятость, преобладающую в данных, используемых для обучения модели обучения.Как XAI вовлекает пользователя в процесс его объяснимости, становится важным, чтобы прогнозы, сделанные моделью обучения, были справедливыми, чтобы решения, принимаемые моделью обучения с участием пользователя-человека, были справедливыми. В результате исследовательские публикации, посвященные справедливости в области XAI, в основном нацелены на этичный ИИ и использование ИИ на благо общества.

Надежность.Количественная оценка надежности — очень сложная функция для модели обучения. Ее можно рассматривать как уверенность в том, что модель обучения будет функционировать как задумано при столкновении с проблемой. Объяснимость модели обучения должна обладать свойством достоверности, однако не все заслуживающие доверия модели обучения объяснимы.

Интерактивность.В ориентированных на человека интерактивных системах, управляемых ИИ, конечный пользователь находится в центре внимания с намерением предоставить пользователю интерактивные системы для совместной работы с обучением ИИ. модель, выполняющая поставленные задачи.

Причинно-следственная связь.Применительно к XAI под причинно-следственной связью понимается поиск причинно-следственных связей между переменными модели обучения. Объяснимость модели обучения приводит к определению корреляций между ее обучающими данными, что в конечном итоге приводит к обнаружению причинно-следственной связи. Эта причинность из объяснимого ИИ затем может быть проверена из причинности, полученной с помощью методов вывода о причинности.

Конфиденциальность.Возможность неуполномоченных третьих лиц понять внутреннюю работу модели обучения может поставить под угрозу конфиденциальность исходных данных обучения; например, система обучения, внедренная в финансовом секторе, может привести к утечке частной информации ее клиентов из-за объяснимости модели обучения. Следовательно, конфиденциальность становится серьезной проблемой в области XAI. Внимание исследователей XAI к этому аспекту конфиденциальности XAI очень слабое, что открывает возможности для будущих исследователей XAI.

Надеемся, что это краткое введение в новые концепции в области объяснимого искусственного интеллекта вдохновит читателя на поиск исследовательских возможностей в XAI.

Ссылка:

Арриета, Алехандро Барредо и др. «Объяснимый искусственный интеллект (XAI): концепции, таксономии, возможности и проблемы на пути к ответственному ИИ». Information Fusion 58 (2020): 82–115.

Дальнейшее чтение

Ляо, К. Вера, Дэниел Груэн и Сара Миллер. «Вопросы ИИ: информирование о методах проектирования для объяснимого пользовательского опыта ИИ». препринт arXiv arXiv:2001.02478 (2020 г.).