Должен ли ИИ объясниться? или мы должны разработать Объясняемый ИИ, чтобы он не

В этой статье я рассмотрю:

1. Что такое Объясняемый ИИ (XAI) и зачем он нам нужен
2. Некоторые точки зрения на то, почему XAI не работает или не нужен.
3. Головоломка производительности и объяснимости. Можем ли мы получить лучшее из обоих миров?

TL;DR

Эта статья стала длиннее той, что я изначально планировал, поэтому для занятых людей вот ее синопсис.

Объяснения поведения ИИ, которые генерируются спонтанно или апостериорно, больше похожи на обоснования и могут не отражать истинность процесса принятия решения. Если необходимо доверие и подотчетность, это следует учитывать на ранних этапах процесса проектирования. Объясняемый ИИ (XAI) - это НЕ ИИ, который может объяснить себя, это дизайнерское решение разработчиков. Это ИИ, который достаточно прозрачен, поэтому необходимые объяснения являются частью процесса проектирования.

А теперь полная история.

Почему XAI?

Беспилотный автомобиль сбил и убил пешехода в Темпе, штат Аризона, в 2018 году. Вопросы, например, кто виноват (ответственность), кто этому препятствует (безопасность) и Чтобы запретить беспилотные автомобили (ответственность и оценка политики), необходимо, чтобы модели ИИ, используемые для принятия этих решений, были интерпретируемыми.

Это исследование показывает, что классификатор, который мог отличить волков от хаски, основывал свое решение исключительно на наличии снега на заднем плане.

Эта статья на Propublica показывает, как модель прогнозирования риска повторного уголовного преступления может иметь сильную этническую предвзятость. Аналогичная этническая и гендерная предвзятость была выявлена ​​в алгоритмах отбора кандидатов при приеме на работу, а также в заявках на одобрение ссуд, среди прочего.

Итак, если мы измеряем возможности системы ИИ исключительно на основе одной метрики производительности (то есть точности), нас может ждать сюрприз позже. (Статья: ИИ сокращает путь?)

Состязательные примеры

Кроме того, существуют состязательные примеры, когда некоторые злоумышленники могут выборочно добавлять искажения к изображениям, чтобы в остальном надежный классификатор всегда выбирал определенный класс. Эти искаженные изображения выглядят нормально для людей и поэтому не поддаются обнаружению. Это имеет большое значение для алгоритмов безопасности.

По мере того как системы ИИ участвуют во все большем и большем количестве решений, которые мы принимаем, желание и необходимость сделать ИИ объяснимым будут только расти, однако решения большинства систем ИИ, которые мы используем сейчас, необъяснимы.

Какие объяснения нам нужны?

Теперь, когда мы установили, зачем нам XAI, давайте поговорим о том, какие объяснения желательны.

Первый тип - это объяснения, которые помогают лучше понять данные. Примером может служить система, которая сообщает вам, что на конкретном изображении изображена кошка, потому что она похожа на еще один пример кошки (ближайшего соседа). Другой XAI может сказать вам, что это кошка, потому что у нее есть усы и мех (особенность).

Второй тип объяснений - это те, которые позволяют лучше понять модель. Подходы к визуализации различных активаций нейронов в нейронных сетях в первую очередь относятся к этой категории.

Объяснения XAI обычно охватывают обе эти области, но обычно имеют более сильный уклон.

Почему нет XAI?

Не все приложения требуют пояснений. Итак, первым делом нужно определить, нужны ли объяснения. Если у приложения нет критического поведения, которое может повлечь за собой некоторую ответственность, тогда модель черного ящика будет работать нормально. Однако, как мы обсуждали выше, существует множество приложений, которым абсолютно необходим XAI.

Теперь, чтобы убедиться, что наше понимание всесторонне, давайте рассмотрим некоторые критические замечания в адрес XAI.

1. Слишком сложно объяснять

Скептики указывают (и правильно делают), что самые популярные модели искусственного интеллекта с хорошей производительностью имеют около 100 миллионов параметров. Это означает, что во время обучения было изучено 100 миллионов чисел, которые способствуют принятию решения. При такой сложности, как мы можем начать думать о том, какие факторы влияют на объяснения?

2. Компромисс между производительностью и объяснимостью

Машинное обучение в классификации работает за счет: 1) преобразования входного пространства признаков в другое представление (разработка признаков) и 2) поиска границы решения для разделения классов в этом пространстве представления. (оптимизация). Современные подходы к глубокому обучению выполняют 1 и 2 вместе через переходное отверстие. обучение иерархическому представлению.

Простые модели, такие как линейная регрессия, также по своей сути объяснимы, поскольку веса и знаки на них являются индикаторами важности функций, а решения могут быть объяснены в терминах этих весов.

Деревья решений также объяснимы, потому что различные атрибуты используются для формирования расщеплений. Эти решения о разделении могут быть использованы в качестве основы для правил интеллектуального анализа данных, которых в некоторой степени может быть достаточно в качестве объяснения. (Однако есть проблемы с двусмысленностями)

Глубокая нейронная сеть (DNN), которая изучает миллионы параметров и может быть упорядочена с помощью таких методов, как пакетная нормализация и отсевы, совершенно непонятна. Многие другие методы машинного обучения также сталкиваются с этой проблемой.

Однако с учетом того, что DNN демонстрируют самые современные характеристики во многих областях и с большим отрывом, трудно возразить против их использования.

3. Люди тоже не могут объяснить свои решения.

Если мы придерживаемся людей как золотого стандарта, то аргумент состоит в том, что мы должны либо не доверять всем людям, либо полностью довольствоваться своими необъяснимыми партнерами по ИИ.

Есть свидетельства того, что большинство механизмов мышления и принятия решений у людей происходит бессознательно. Есть также свидетельства того, что мы эволюционировали до изобретения объяснений, хотя на самом деле мы временами не представляем себе процесса принятия решений. [1] Мы также генерируем наивные объяснения тому, что делаем, по причинам, которые не хотим признавать, хотя бы для того, чтобы избежать когнитивного диссонанса.

Перед лицом всего этого, как мы ожидаем, что ИИ сможет объяснить себя?

XAI - это не ИИ, который сам себя объясняет, это скорее ИИ, которому не нужно

Предлагаются специальные и апостериорные системы XAI, в которых используются две отдельные модели: модель обучения для принятия решений и модель объяснения для предоставления объяснений.

Возможно, это похоже на нашу человеческую неврологию, и эти объяснения больше похожи на оправдания, которые дает команда по связям с общественностью для плохого управленческого решения.

Если модель объяснения знала, что происходит, И могла это объяснить, почему бы в первую очередь не использовать ее вместо модели решения?

Желание иметь отдельный ИИ, который может объяснить ИИ, может оказаться неприемлемым, особенно по причинам подотчетности, доверия или ответственности. Это всякий раз, когда необходимо принять решение более высокого уровня, приняв во внимание объяснения.

Таким образом, специальные и апостериорные объяснения можно использовать для лучшего понимания процесса моделирования или исследования того, как ИИ работает за кулисами, но обычно этого недостаточно для поддержки решений на уровне бизнеса.

Давайте резюмируем то, что мы рассмотрели до сих пор.

1. Люди также используют сложные и непонятные процессы принятия решений. Сами по себе это не может быть объяснимо
2. Возможно, модели черного ящика нельзя избежать, потому что проблемы, которые мы хотим решить, сложны и нелинейны. Если бы использовались более простые модели, возник бы нежелательный компромисс в производительности (для объяснимости).

Так куда мы идем отсюда?

Решение: подумайте об интерпретируемости на ранней стадии

Мы считаем, что видим мир прекрасно, пока не обратим внимание на то, что это не так. Затем мы должны пройти процесс обучения - Дэвид Иглман

Если разрабатываемое приложение требует пояснений, то ожидаемые объяснения должны быть внесены в таблицу намного раньше - во время окончательной доработки требований, чтобы архитектурный проект мог их включить.

Вместо того, чтобы принимать очень сложное решение, использовать ли более простые, но объяснимые модели с низкой производительностью или использовать сложные модели черного ящика без объяснений, лучшим вариантом может быть

1. Знайте, какие объяснения требуются (возможно, после консультации со сторонами, которые требуют объяснений)
2. Разработайте архитектуру метода обучения, чтобы получить промежуточные результаты, относящиеся к этим объяснениям.

Теперь легче сказать, чем сделать. Чтобы узнать, какие пояснения требуются от приложения, потребуется тесное сотрудничество всех заинтересованных сторон. Например, приложение AI для утверждения ссуды потребует объяснений, которые радикально отличаются от алгоритма идентификации лица. В других приложениях обучение принятию решений путем изучения атрибутов высокого уровня все еще может быть невозможным.

Чтобы сделать это понимание более конкретным, давайте рассмотрим практический пример приложения ИИ из этого исследования, которое обучает людей словам на языке жестов. Если ученик правильно выполняет знак, все в порядке. Но если учащийся еще не понял этого, как любой хороший наставник, ожидается, что приложение ИИ предоставит учащимся некоторую обратную связь. Этот ИИ живет в компьютере и может использовать камеры, чтобы выглядеть учеником.

Теперь, если используются алгоритмы компьютерного зрения (CV) черного ящика, ИИ, возможно, сможет определить, сделал ли ученик знак неправильно, но какую обратную связь он может предоставить? Он может только сказать «попробуйте еще раз». , возможно, с некоторыми тональными корректировками.

Однако давайте рассмотрим другой ИИ, который разработан с учетом возможных объяснений.

Язык жестов Лингвисты постулировали, что знаки отличаются друг от друга либо расположением жестов, либо движением, либо формой руки. (Другими словами, вы можете ошибиться одним из этих трех способов) *.

Теперь, имея это в виду, отдельные модели ИИ можно обучить обнаруживать правильность для каждого из этих атрибутов. Тогда окончательное решение может быть комбинацией решений этих трех моделей.

Таким образом, когда новый ученик делает ошибку в одном из них, можно дать соответствующую обратную связь, например, «ваша рука была неправильной», с примерами правильной.

Ключевой вывод здесь заключается в том, что распознавание формы руки или ее совпадение с другой формой руки - это проблема, которая, возможно, лучше всего решается с помощью CNN, которая сама по себе не нуждается в объяснении. Однако более серьезная проблема распознавания знака разбита на подзадачи, которые составляют основу для объяснений, и это знание зависит от предметной области (т.е. эта разбивка будет работать только для языков жестов)

Открытые вопросы

Можно ли так разбить все проблемы, требующие объяснения? Если да, можем ли мы разработать для этого теоретическую основу? Можем ли мы количественно оценить компромисс между объяснением и производительностью и минимизировать его? Насколько подробными должны быть объяснения? Как лучше всего дать объяснения?

На эти вопросы необходимо будет ответить в сотрудничестве с полевыми экспертами, разрабатывающими алгоритмы искусственного интеллекта. Одно можно сказать наверняка: в будущем, поскольку люди и правительства требуют дополнительных объяснений (GDPR 2018), подход к ИИ одна модель подходит для всех не будет ответом.

Комментарии? Предложения?

Вот еще несколько моих постов:

использованная литература

1. Инкогнито: тайная жизнь мозга
2. Документ DARPA по XAI
3. Learn2Sign

Аннотации

* Выражение лица в этой работе не рассматривается, а ориентация изучается вместе с формой руки.