Интерпретируемость модели

Объяснимый искусственный интеллект: часть первая - краткое введение

Автор: Хелена Фоли, исследователь машинного обучения в Max Kelsen

Путь к практическому применению машинного обучения (ML) к медицинским данным был долгим, и, наконец, конец может быть близок! Он уже был успешно применен к таким вещам, как образцы окрашенных микрочипов опухолевой ткани (ТМА) (Бычков и др., 2018), изображения целого слайда (Эхтешами Бейнорди, 2017) и изображения рака кожи (Haenssle et al, 2018) с отличным качеством изображения. успех с точки зрения диагностической точности, а иногда даже превосходит клинических экспертов! Однако, прежде чем его можно будет по-настоящему внедрить в более широкую сферу здравоохранения и получить возможность изменить жизнь людей, мы должны сначала пересечь наши Т и расставить точки над нашими И по их прозрачности. Этот блог - первый из двух, которые дадут вам краткое введение в мир объяснимого ИИ.

Традиционные модели, такие как линейная регрессия, интуитивно понятны и легко объяснимы. Однако их полезность с геномными данными ограничена из-за их высокой размерности (мы говорим, что каждый образец имеет десятки или даже сотни тысяч функций!). Если размер выборки достаточно велик, более продвинутые модели, такие как сверточные нейронные сети (CNN), могут дать более точные результаты (Akkus, 2017). Однако эти продвинутые модели имеют сложные структуры с несколькими скрытыми слоями, нелинейными функциями активации и правилами обратного распространения, что затрудняет отслеживание и интерпретацию процессов между вводом и выводом.

Как ученые, мы не можем слепо доверять нашим моделям, независимо от того, насколько хорошо они работают. Хотя мы понимаем, какую информацию мы скармливаем моделям и какую информацию они выводят, мы не замечаем внутренних процессов принятия решений в указанных моделях. Эта слепота привела к появлению термина модели черный ящик. Это вызывает серьезную озабоченность, поскольку правильные ответы в одном наборе данных, который у нас есть, могут быть неправильными в другом наборе в другом месте. Следовательно, если мы не увидим, какую информацию модель использует для получения «правильных» ответов, мы не узнаем, действительно ли эти ответы верны. Модели имеют тенденцию выбирать путь наименьшего сопротивления, и этот путь часто может быть обусловлен нежелательными артефактами, такими как групповые эффекты, а не истинными биологическими сигналами. Хотя это может не быть очевидной проблемой при первой разработке модели, тем не менее, это может привести к неверному прогнозу, если модель попросят сделать прогноз на основе новой информации. В клинических условиях это может быть очень опасно.

Решение этой проблемы состоит в том, чтобы открыть этот черный ящик и посмотреть, какие именно функции модель считает «важными» для процесса принятия решений, чтобы мы могли либо убедиться, что модель выполняет то, что мы ожидаем, либо получить информацию о ней. на каких особенностях мы должны сосредоточить наши будущие исследования (это могут быть важные экологические эффекты, биологические процессы или генетические мутации).

Были предприняты попытки составления карт значимости, в том числе: выборка Шепли (Strumbelj & Kononenko, 2010), Tree Interpreter (Saabas, 2014), распространение релевантности (Bach et al, 2015), количественное входное влияние (Datta et al, 2016). ), LIME (Ribeiro et al, 2016) и DeepLIFT (Shrikumar, 2017). Каждый из этих методов обеспечил улучшения, однако возможность поддерживать статистическую стабильность и обобщаемость результатов, а также согласованные численные значения на глобальном и локальном уровнях остаются нерешенными.

Как упоминалось ранее, простые модели, такие как линейная регрессия, прозрачны и полностью объяснимы, тогда как глубокие модели полны сложных нелинейных функций. Рибейро и его коллеги (2016) показали, что локальное приближение к линейным моделям можно использовать для объяснимости сложных нелинейных моделей. Однако это локальное приближение не имело устойчивой связи с глобальным уровнем модели. Внутренние процессы глубоких моделей, таких как нейронные сети, можно рассматривать как процессы, конкурирующие за информацию. В статье Ценность игр для N человек (1953 г.) Ллойд Шепли подчеркнул, что для справедливого распределения выигрышей между всеми игроками, участвующими в игре, нам необходимы три аксиомы: аддитивность, последовательность и фиктивный игрок (Шепли, 1953). Объединив это локальное приближение с теорией Шепли, Лундберг и Ли (2017; https://arxiv.org/abs/1705.07874) предоставили доказательство концепции проекта с математическими гарантиями, обеспечивающими столь необходимую стабильность. к ограничению от локального к глобальному. В этой работе были представлены значения SHAP (аддитивные объяснения Шэпли) и обеспечено значительное преимущество перед традиционными, объяснимыми моделями, такими как вышеупомянутая линейная регрессия (мы не будем вдаваться в технические подробности здесь, поскольку они были подробно изложены здесь, поскольку а также в оригинальном авторском блоге). Подобно предыдущим объяснимым моделям, положительные и отрицательные оценки значений SHAP позволяли интерпретировать увеличение или уменьшение уверенности в обучении или прогнозировании данного класса. Однако, в отличие от традиционных моделей, в которых отображение значимости можно было оценить только по всей совокупности, значения SHAP также обеспечивали детальные оценки значимости по всем функциям и всем выборкам (рисунок 1), что позволяет более точно понимать процессы внутреннего обучения.

В исследовательской лаборатории Макса Келсена наша миссия - вносить позитивный вклад в науку, решая сложные проблемы, такие как рак, с использованием передовых методов машинного обучения. Мы признаем, что вклад Лундберга и Ли (2017) может, наконец, сделать передовые модели машинного обучения, такие как нейронные сети (НС), полезными в клинических условиях. Например, хотя обучение моделей NN на человеческом транскриптоме для точного прогнозирования типов рака легко достижимо, знание того, какие гены внесли вклад в эту классификацию, является следующим аспектом, который важен как для клиницистов, так и для исследователей, поскольку он может помочь в разработке более эффективных методов лечения.

Эта серия статей в блоге предназначена для обзора сильных и слабых сторон ценностей SHAP, а также их практического применения для информирования биологии и рака. Следите за обновлениями части 2 этой серии, подписавшись на наш Medium или LinkedIn.

Ссылки

Андо Саабас. 2014. Интерпретация случайных лесов. Http://blog.datadive.net/interpreting-random-forests/. (2014). Дата обращения: 2017–06–15.

Закон об алгоритмической подотчетности 2019 г. Доступно по адресу https://www.congress.gov/bill/116th-congress/house-bill/2231/all-info (доступ: 8 февраля 2020 г.).

Бах, С. и др. О попиксельном объяснении решений нелинейного классификатора путем послойного распространения релевантности. PLoS One 10, 1–46 (2015).

Бейнорди, Б. Э. и др.. Диагностическая оценка алгоритмов глубокого обучения для обнаружения метастазов в лимфатические узлы у женщин с раком груди. JAMA - J. Am. Med. Доц. 318, 2199–2210 (2017).

Бычков, Д. и др.. Анализ тканей на основе глубокого обучения позволяет прогнозировать исход колоректального рака. Sci. Отчет 8, 1–11 (2018).

Датта, А., Сен, С. и Зик, Ю. Алгоритмическая прозрачность через количественное входное влияние. 71–94 (2017). DOI: 10.1007 / 978–3–319–54024–5_4

Хэнссл, Х. А. и др. Человек против машины: диагностические характеристики сверточной нейронной сети с глубоким обучением для распознавания дерматологической меланомы по сравнению с 58 дерматологами. Энн. Онкол. 29, 1836–1842 (2018).

Лундберг, С. М. и Ли, С. И. Единый подход к интерпретации прогнозов модели. Adv. Neural Inf. Процесс. Syst. 2017 – Decem, 4766–4775 (2017).

Рибейро М. Т., Сингх С. и Гестрин К. «Почему я должен вам доверять?» Объясняя предсказания любого классификатора. Proc. ACM SIGKDD Int. Конф. Знай. Discov. Мин. Данных 13–17 августа, 1135–1144 (2016).

Смилков Д., Торат Н., Ким Б., Виегас Ф. и Ваттенберг М. SmoothGrad: удаление шума путем добавления шума. (2017).

Шрикумар А., Гринсайд П. и Кундаже А. Изучение важных особенностей посредством распространения различий в активации. 34-й межд. Конф. Мах. Учиться. ICML 2017 7, 4844–4866 (2017).

Штрумбель, Э. и Кононенко, И. Эффективное объяснение индивидуальных классификаций с помощью теории игр. Дж. Мах. Учиться. Рес. 11, 1–18 (2010).

Сундарараджан М., Тали А. и Ян К. Аксиоматическая атрибуция для глубоких сетей. (2017). DOI: 10.1007 / s10144–009–0162–4