Прозрачные модели машинного обучения VS апостериорные методы объяснимости для моделей машинного обучения «черный ящик»

Двойственность интерпретируемого машинного обучения и интерпретируемости машинного обучения можно соотнести с прозрачной моделью и апостериорной объяснимостью. При изложении прозрачная модель связана с проблемой разработки прозрачной модели машинного обучения, тогда как апостериорная объяснимость связана с проблемой объяснения моделей машинного обучения «черный ящик» с помощью внешних объяснимых методов ИИ. Следовательно, прозрачные модели можно интерпретировать по замыслу, в то время как модели черного ящика необходимо интерпретировать с точки зрения апостериорной объяснимости.

Прежде всего, необходимо знать две крайние стороны интерпретируемых моделей обучения. С одной стороны, у нас есть непрозрачные модели обучения, когда пользователь не знает о функционировании внутри системы обучения. Напротив, у нас есть понятные модели обучения, где модель обучения в дополнение к выходным данным обычной модели обучения предоставляет правила и сопоставления между различными нейронами в случае нейронных сетей, чтобы пользователь мог легко понять внутреннюю работа модели обучения. Интерпретируемые модели обучения находятся посередине двух вышеупомянутых краев, где модель обучения может быть проанализирована пользователем, чтобы понять базовое отображение модели обучения.

Модели интерпретируемого машинного обучения могут иметь разные уровни прозрачности. Ниже описаны три основных уровня прозрачности, достигаемые интерпретируемой моделью машинного обучения.

  • Алгоритмическая прозрачностьпредоставляет пользователю возможность понять внутренние процессы, с помощью которых модель обучения генерировала свои выходные данные при определенных входных данных. Говорят, что модель обучения достигла алгоритмической прозрачности, если модель обучения можно полностью исследовать только с помощью математических моделей и анализа.
  • Разложимостьс точки зрения прозрачности находится на более высоком уровне, чем алгоритмическая прозрачность. Разложимость придает модели обучения возможность объяснить пользователю каждую ее часть, т. е. ввод, параметр и сопоставление. Не каждая алгоритмически прозрачная модель обучения является разложимой. Чтобы модель обучения была декомпозируемой, в дополнение к ограничению алгоритмической прозрачности, т.е. чтобы ее можно было исследовать с помощью математических моделей и анализа, она также должна обладать потенциалом того, что все ее переменные, параметры и функции будут понятны пользователю без каких-либо внешних воздействий. помощь.
  • Моделируемость относится к способности модели обучения моделировать ее пользователи. Моделируемость — это наивысший уровень прозрачности, которого может достичь модель обучения. Следовательно, не все разложимые модели обучения можно моделировать. Чтобы разложимая модель обучения обладала свойством моделируемости, она должна обладать способностью мыслить или рассуждать как единое целое без какой-либо дополнительной помощи.

Интерпретируемость машинного обучения полезна, когда модель обучения не поддается интерпретации по замыслу и, следовательно, пользователю приходится использовать внешние методы интерпретации. Метод интерпретируемости, который будет использоваться для интерпретируемости модели машинного обучения, определяется на основе 1) намерения пользователя, т. е. того, как пользователь хочет объяснить модель обучения (с помощью текста или визуализаций), 2) используемой процедуры, т. е. анализа внимания и 3) тип данных, принимаемых моделью обучения. Методы апостериорной объяснимости в основном делятся на следующие.

  • Визуальные пояснения – этонаиболее эффективный метод объяснения функционирования модели машинного обучения пользователям с небольшим опытом в машинном обучении. Большинство методов апостериорной объяснимости включают уменьшение размерности, чтобы сложное отображение переменных модели машинного обучения можно было визуализировать на 2D- или 3D-графике.
  • Локальные объясненияметоды апостериорной объяснимости связаны с объяснением сложной модели машинного обучения путем разделения пространства решений и последующего объяснения более простых подпространств решений, которые относятся ко всей модели машинного обучения. . Следовательно, локальные объяснения работают путем декомпозиции пространства решений, а затем объясняют функционирование модели машинного обучения по отношению к декомпозированному подпространству решений. При необходимости эти отдельные объяснения могут быть повторно объединены для интерпретируемости полномасштабной модели машинного обучения.
  • Процедуры Объяснения путем упрощения пытаются создать новую упрощенную версию анализируемой модели машинного обучения таким образом, чтобы новая модель напоминала функционирование прежней модели. Кроме того, новая модель должна быть менее сложной при том же показателе производительности. Если все вышеперечисленные условия соблюдены для новой упрощенной модели машинного обучения, то новую модель становится легко интерпретировать из-за ее меньшей сложности.
  • Объяснения текстомрешает проблему объяснения результатов и выводов модели машинного обучения путем изучения текстовых поясненийи символовкоторые изображают внутреннюю работу модели. Идея создания символов состоит в том, чтобы изучить семантическое сопоставление модели с символами, чтобы понять принцип работы алгоритма машинного обучения.
  • Методология Объяснения на примерах включает в себя составление конкретных репрезентативных примеров-кандидатов с целью понимания сопоставления переменных в модели машинного обучения, а также обоснования алгоритма. Этот метод похож на процесс, предпринимаемый человеком при попытке понять сложный процесс.
  • Объяснения релевантности функций присваивает соответствующие оценки важности или релевантности переменным модели машинного обучения. Баллы присваиваются в зависимости от того, как конкретная переменная или параметр влияет на выходные данные модели машинного обучения.

Ссылка:

[1] Арриета, Алехандро Барредо и др. «Объяснимый искусственный интеллект (XAI): концепции, таксономии, возможности и проблемы на пути к ответственному ИИ». Information Fusion 58 (2020): 82–115.