Объяснение того, что предсказывают изученные модели

В каких случаях мы можем доверять моделям машинного обучения, а когда требуется осторожность?

Введение

Технологические достижения в области машинного обучения и искусственного интеллекта (ИИ) радикально изменили то, как люди воспринимают мир, и по-новому определили термины «функциональность» и «инновации». Отрасли всех видов, будь то розничная торговля или туризм [1], используют возможности машинного обучения для того, чтобы их услуги и продукты выделялись на рынке и предоставляли лучший опыт своим клиентам. В медицине машинное обучение широко используется для диагностики [2], операций [3] и даже секвенирования генома [4]. Системы обнаружения и предотвращения вторжений на основе ИИ были развернуты для улучшения систем безопасности и наблюдения по всему миру, особенно в резервах и банках. С появлением беспилотных автомобилей машинное обучение теперь принимает решения, когда один неверный прогноз может оказаться фатальным для человеческой жизни. Поскольку ИИ уже используется практически во всех аспектах человеческой жизни, невозможно представить себе существование без него. Это вызывает серьезную озабоченность: почему модель машинного обучения предсказала конкретный результат и можно ли доверять этому прогнозу?

Как модель машинного обучения предсказывает?

Прежде чем решить, можно ли доверять прогнозу модели машинного обучения, важно понять, что такое машинное обучение и как модель делает прогноз.

Машинное обучение — это приложение ИИ, целью которого является имитация человеческого интеллекта в машине, поэтому она может учиться, не будучи явно запрограммирована для выполнения задачи, а также поощрять совершенствование на основе опыта.

Алгоритмы машинного обучения можно разделить на три типа, и они предсказывают результаты следующими способами:

Контролируемое обучение — эти алгоритмы устанавливают и изучают корреляции в известных размеченных данных. На основании этого они предсказывают результат в новых невидимых данных.
Неконтролируемое обучение. Эти алгоритмы работают с немаркированными данными и предсказывают результаты, определяя основные закономерности в данных.
Обучение с подкреплением. Эти алгоритмы не обязательно имеют заранее определенные данные. Они предсказывают результаты на основе действий агента и соответствующих вознаграждений с целью максимизации вознаграждения.

Для измерения производительности этих моделей широко используются определенные метрики. Некоторыми из часто используемых показателей являются точность, прецизионность, полнота, оценка F1, чувствительность, специфичность, среднеквадратическая ошибка и логарифмическая потеря.

Что делает прогноз ненадежным?

Значения вышеупомянутых показателей формируют предпосылку оценки модели, но иногда они могут вводить в заблуждение. По мере того, как модель машинного обучения становится все более сложной и продвинутой, весь процесс прогнозирования становится черным ящиком [5], интерпретировать который практически невозможно. Остается неясным, почему и как алгоритм сделал тот или иной прогноз. В таком случае полагаться на одну метрику для оценки производительности модели может быть не лучшим вариантом.

Существует множество причин, по которым модель машинного обучения плохо предсказывает результаты, несмотря на высокий показатель точности. Например, если набор данных несбалансирован, то модель будет смещена в сторону доминирующего класса. Если 95% данных относятся к доминирующему классу, модель всегда будет предсказывать это как результат, и это приведет к точности 95%. Однако на самом деле эта модель ненадежна, поскольку, когда прогнозы делаются на невидимых данных, принадлежащих к недоминирующему классу, модель всегда будет делать неверные прогнозы. Точно так же модель, развернутая в реальных условиях, которая не обновляется и не переобучается на вновь сгенерированных данных, или модель, которая переобучает, дает ненадежные прогнозы.

Чтобы преодолеть эту проблему, парадигма машинного обучения теперь смещается в сторону объяснимого ИИ (также называемого интерпретируемым ИИ). Объяснимый ИИ — это набор определенных инструментов, фреймворков и процессов, которые помогают понять прогнозы, сделанные моделью машинного обучения, и доверять им [6]. Обеспечивая качественную взаимосвязь между прогнозами и данными, он отвечает на такие вопросы, как, как модель сделала прогнозы?; какие атрибуты данных наиболее важны для прогнозирования?; почему модель сделала определенный прогноз для определенного набора входных данных? [7].

Что можно сделать, чтобы получить достоверные прогнозы?

Чтобы получить достоверные прогнозы от модели машинного обучения, необходимо учитывать несколько показателей для оценки производительности модели. Например, рассмотрение кривой отзыва, AUC и CAP наряду с точностью модели может улучшить качество прогнозов. Также необходимо, чтобы соблюдались принципы объяснимого ИИ.

Национальный институт стандартов и технологий США (NIST) сформулировал четыре принципа объяснимого ИИ [8]:

Модель машинного обучения должна давать обоснованные объяснения.
Объяснения модели должны быть осмысленными и понятными для пользователей.
Объяснения должны точно описывать, как генерируются прогнозы.
Модель должна работать только в установленных пределах.

Более того, чтобы получить надежные прогнозы, также важно убедиться, что модель не является предвзятой и не переобучается. Дополнительно перед обучением моделей. данные должны быть проверены на несбалансированность. Также важно, чтобы модель переобучалась с использованием вновь сгенерированных данных с течением времени, тем самым следуя подходу, ориентированному на данные.

Заключение

Машинное обучение добилось большого прогресса за последнее десятилетие. С его приложениями в различных областях, таких как розничная торговля, медицина, Интернет вещей (IoT), безопасность и наблюдение и т. д., машинное обучение оказало огромное влияние и сделало некоторые утомительные процессы проще и эффективнее. Поскольку он стал неотъемлемой частью общества, крайне важно понять, когда мы можем доверять предсказаниям модели, а когда требуется осторожность. В зависимости от алгоритма машинного обучения и данных, которые он использует для обучения, крайне важно учитывать несколько соответствующих показателей для оценки производительности модели, поскольку рассмотрение только одного показателя может ввести в заблуждение и повлиять на качество прогнозов. Прежде всего необходимо убедиться, что качество данных хорошее и что данные не несбалансированы. Во время обучения модели необходимо следить за тем, чтобы модель не была предвзятой и не переобучалась. Если эти условия соблюдены и принципы объяснимого ИИ соблюдаются, то можно сделать вывод, что модель машинного обучения сделала надежные прогнозы, которым можно доверять.