Интерпретируемое машинное обучение — Краткий обзор

Всем привет, это моя первая история на Medium. Так что простите меня, если я делаю некоторые незначительные ошибки. Сегодня я расскажу о новой исследовательской работе «Интерпретируемое машинное обучение — краткая история, современное состояние и проблемы». На недавних конференциях доминировали доклады по IML (интерпретируемое машинное обучение), но эта область имеет 200-летнюю историю. Самой большой проблемой является отсутствие строгого определения интерпретируемости, принятого сообществом.

Введение

Один из наиболее распространенных вопросов в отрасли при развертывании модели машинного обучения заключается в том, заслуживает ли эта модель доверия. Во время моего короткого пребывания в отрасли у меня было много вопросов о том, как модель принимает решения/прогнозы. Некоторые распространенные вопросы: насколько важна конкретная функция или почему модель сделала именно этот прогноз. Интерпретируемость часто является важным фактором, когда конкретная модель ML развертывается в таких областях, как безопасность, обслуживание клиентов и т. д. Кроме того, IML можно использовать для отладки или обоснования модели и ее прогнозов, а также для дальнейшего улучшения модели.

История

Исследования IML достигли своего пика с развитием глубокого обучения. Но корни IML очень старые. Модели линейной регрессии использовались Гауссом, Лежандром и Кетле еще в начале 19 века и с тех пор превратились в широкий набор инструментов регрессионного анализа, таких как обобщенные аддитивные модели. Эти модели делают определенные предположения о распределении или заранее ограничивают сложность модели, что налагает внутреннюю интерпретируемость модели.

В отличие от этого, алгоритмы ML следуют нелинейному, непараметрическому подходу, в котором сложность модели контролируется гиперпараметрами или перекрестной проверкой. В результате модели ML имеют очень хорошие прогностические характеристики, но плохую интерпретируемость.

Несмотря на то, что интерпретируемость в ML недостаточно изучена, в IML была проделана значительная работа. Встроенная мера «важности признаков» для случайных лесов стала одной из важных вех IML. «В последнее время было введено множество методов объяснения, не зависящих от модели, которые работают для разных типов моделей машинного обучения. Но также были разработаны методы объяснения для конкретных моделей, например, для интерпретации глубоких нейронных сетей или ансамблей деревьев. Регрессионный анализ и машинное обучение на основе правил остаются важными и активными областями исследований по сей день и смешиваются друг с другом, например, деревья на основе моделей, RuleFit и т. д. ». И регрессионные модели, и машинное обучение на основе правил служат автономными алгоритмами машинного обучения, а также строительными блоками для подходов IML.

IML-модели

Модели IML различаются тем, анализируют ли они компоненты модели, чувствительность модели или суррогатные модели. Некоторые подходы IML работают, присваивая значение отдельным компонентам модели (слева), некоторые — анализируя прогнозы модели для возмущений данных (справа). Суррогатный подход, представляющий собой смесь двух других подходов, аппроксимирует модель машинного обучения с использованием (искаженных) данных, а затем анализирует компоненты интерпретируемой суррогатной модели.

(1) Анализ компонентов интерпретируемых моделей:

В этих подходах мы фокусируемся на отдельных компонентах моделей, а не на всей модели. Таким образом, не обязательно понимать всю модель, но для анализа конкретных компонентов модели она должна быть разложена на части, которые мы можем интерпретировать по отдельности. Интерпретируемые модели — это модели с изученными параметрами и изученными структурами, которым можно присвоить определенную интерпретацию точно так же, как линейной регрессии, деревьям решений и т. д. Например, веса модели линейной регрессии можно интерпретировать как влияние отдельных функций на предсказание модели. Деревья решений имеют изученную структуру, в которой в каждом узле есть разделение на основе определенного признака. Это помогает нам отслеживать прогноз, сделанный деревьями решений, по следующим узлам. Но это работает только до определенного момента в многомерных случаях. Модели линейной регрессии с очень большим количеством признаков больше не поддаются интерпретации, поэтому некоторые подходы пытаются уменьшить количество интерпретируемых признаков, например, LASSO.

(2) Анализ компонентов более сложных моделей:

Мы также можем анализировать компоненты сложной модели. Например, мы можем визуализировать функции, изученные слоями CNN.

Некоторые подходы пытаются сделать компоненты более интерпретируемыми, вводя некоторые ограничения монотонности или модифицированную функцию потерь для распутывания концепций, изученных CNN.

(3) Объяснение индивидуальных прогнозов:

Большинство подходов, используемых для изучения чувствительности модели машинного обучения, не зависят от модели. Они работают, анализируя прогнозы модели для небольших возмущений во входных данных. Мы различаем локальные и глобальные объяснения. Локальные методы сосредоточены на прогнозировании отдельных моделей. Одним из популярных локальных методов IML являются значения Шепли.

Некоторые подходы IML полагаются на знания, специфичные для модели, для анализа того, как изменение входных функций влияет на результат. Например, карты значимости используются для CNN. Карта заметности создает тепловую карту, показывающую, как изменение пикселя меняет прогноз.

(4) Объяснение поведения глобальной модели:

Методы объяснения глобальной модели используются для объяснения того, как модель ведет себя в среднем для данного конкретного набора данных. Полезным различием глобальных объяснений является «важность функции» и «эффект функции».

Важность функций ранжирует функции по тому, насколько они важны/релевантны для прогнозирования, например, важность функции перестановки для случайного леса.

«Эффект функции» показывает, как изменение входной функции меняет прогнозируемый результат. Популярными графиками эффекта признаков являются графики частичной зависимости, отдельные условные кривые ожидания, графики накопленного локального эффекта и функциональный дисперсионный анализ.

(5) Суррогатные модели:

Суррогатные модели — это интерпретируемые модели, которые пытаются имитировать поведение соответствующих моделей машинного обучения. Суррогатный подход требует только входных и выходных данных модели ML для обучения суррогатной модели ML. Они рассматривают модель ML как черный ящик. LIME является примером локального суррогатного метода, который объясняет отдельные прогнозы путем изучения интерпретируемой модели с данными, находящимися вблизи точки данных, подлежащей объяснению.

Проблемы

Некоторые из проблем в области IML:

(1) Отсутствие правильного определения интерпретируемости.

(2) Зависимость от признаков создает проблемы с присвоением важности и экстраполяцией.

(3) Многие методы IML дают объяснения без количественной оценки неопределенности объяснения. Сама модель, а также ее объяснения рассчитываются на основе данных и, следовательно, подвержены неопределенности.

(4) Как упоминалось в документе, «в идеале модель должна отражать истинную причинно-следственную структуру лежащих в ее основе явлений, чтобы обеспечить причинную интерпретацию. Возможно, причинно-следственная интерпретация обычно является целью моделирования, если машинное обучение используется в науке. Но большинство процедур статистического обучения отражают простые корреляционные структуры между признаками и анализируют поверхность процесса генерации данных, а не его истинную присущую структуру. Необходимы дальнейшие исследования, чтобы понять, когда нам разрешено делать причинно-следственные интерпретации модели машинного обучения».