В этой статье мы попытались рассмотреть важные моменты статьи.
Сначала давайте проясним одну вещь-
Что такое карта заметности?
По сути, он говорит нам, какие пиксели изображения являются наиболее информативными, если мы попытаемся классифицировать это изображение.
Например. — Обратите внимание на осветленные пиксели справа.
Теперь существуют различные методы создания карт значимости, как показано в приведенном ниже примере:
Однако на этом рисунке показано сравнение между картами значимости и простым детектором границ.
Так что в основном меня утешает то, что моя модель фокусируется на правильных функциях и работает. :-Д
Проблема-
Итак, в чем может быть дело?
Эта статья просит нас иметь критическую точку зрения и говорит, что, может быть, это слишком хорошо, чтобы быть правдой?
«Ценные усилия по объяснению моделей машинного обучения сталкиваются с методологической проблемой: сложностью оценки объема и качества объяснений моделей».
Как показано на рисунке выше, если мы сравним результаты детектора границ (который не зависит от параметров данных/модели) с некоторыми методами значимости, они выглядят почти одинаково.
Так что, может быть, методы заметности, несмотря на то, что они показывают, что эти пиксели на самом деле не объясняют, что происходит в модели?
Поэтому они предлагают статистическую меру, чтобы выяснить, так ли это.
Предложение-
- Тест рандомизации параметров модели
2. Тест рандомизации данных
Тест рандомизации параметров модели
Цель — проверить, не зависят ли методы значимости от модели, т. е. от параметров модели.
а) Обученная модель + метод заметности = outP1
б) Необученная модель + случайно инициализированные параметры + метод значимости = outP2
Если outP1 = outP2 → карты значимости бесполезны для отладки, потому что модель даже не изучена в outP2.
Ожидается → Исх.1 ‹› Исх.2
Как произвольно инициализировать параметры?
а) Полная случайная инициализация всех весов каскадным способом во всех слоях сверху вниз
Как видно из рисунка, градиентный метод показывает чувствительность, но GradCAM не заботится о параметрах модели.
б) Случайным образом взвешивает каждый слой, сохраняя неизменными веса всех остальных слоев.
Тест рандомизации данных
Цель - проверить, независимы ли методы значимости от данных.
а) Обученная модель + помеченный набор данных + метод значимости = outD1
б) Обученная модель + набор данных со случайно переставленными метками + метод значимости = outD2
Если outD1 = outD2 → карты значимости не зависят от меток/данных
Ожидается → Исх.1 ‹› Исх.2
Вывод-
Методы значимости на основе градиента чувствительны к модели и данным.
Только визуальный осмотр может ввести в заблуждение.
Проверка работоспособности методов может помочь выявить недостатки.
Ссылки-
