Guided Grad-CAM сломан! Проверки работоспособности для карт значимости

Определенные методы понимания того, на что смотрит CNN, не работают. Они не имеют никакого отношения к весам модели или обучающим данным и могут действовать просто как детекторы границ.

В этом посте мы обсудим документ NeurIPS 2018 «Проверка работоспособности для карт значимости», который демонстрирует, что несколько популярных подходов к картам значимости на самом деле не дают представления о том, что делает модель. Модели с рандомизированными весами и модели, обученные на данных с рандомизированными метками, по-прежнему будут давать убедительные «объяснения» для определенных методов карты значимости, включая Guided GradCAM и Guided Backpropagation, что означает, что эти подходы к карте значимости не связаны с параметрами модели или данные обучения.

Бумага

В следующем документе применяется несколько умных проверок работоспособности, чтобы определить, дает ли конкретный метод понимание модели или нет:

Адебайо Дж., Гилмер Дж., Мюэлли М., Гудфеллоу И., Хардт М., Ким Б. Рассудок проверяют наличие карт значимости. Достижения в системах обработки нейронной информации, 2018 г. (стр. 9505–9515) .

Любые цитаты в этом посте взяты из этого документа, если не указано иное.

Методы построения карты значимости (тепловой карты) CNN

Вот методы карты значимости, которые оцениваются в этой статье:

Градиент. В этом методе мы визуализируем, насколько изменение каждого из входных пикселей влияет на окончательные прогнозы. Градиент является производной оценки по отношению к входному изображению и иногда называется заметностью или обратным распространением. Для получения дополнительной информации см. Тепловые карты CNN: заметность / обратное распространение и Тепловые карты CNN: градиенты против деконвентных сетей против управляемого обратного распространения.
SmoothGrad (SG):. Это метод сглаживания карт заметности путем взятия среднего значения по картам заметности, созданным из зашумленных копий входных данных.
Градиент x Вход: это поэлементное произведение входных данных и градиента.
Интегрированные градиенты (IG): этот метод на основе градиента суммирует масштабированные версии входных данных.
Управляемое обратное распространение (GBP): Этот подход отличается от подхода градиентов только нелинейностью ReLU. Для подробного объяснения см. Тепловые карты CNN: Градиенты против DeconvNets против управляемого обратного распространения.
GradCAM: Объяснения GradCAM соответствуют градиенту оценки класса (logit) по отношению к карте характеристик последней сверточной единицы. GradCAM построен на основе CAM. Подробнее о CAM см. Тепловые карты CNN: Отображение активации классов.
Guided GradCAM: это поэлементный продукт GradCAM с управляемым обратным распространением.

Прохождение или невыполнение проверок на вменяемость

Краткое резюме авторов: «Из протестированных нами методов Gradients и GradCAM проходят проверку на работоспособность, в то время как Guided BackProp и Guided GradCAM терпят неудачу».

Это большие новости. Управляемый GradCAM - особенно популярный метод. Статья, в которой впервые были представлены GradCAM и Guided GradCAM, цитировалась более тысячи раз.

В следующих разделах мы подробно рассмотрим, что именно проверяет работоспособность Adebayo et al. разработан, чтобы оценить эти методы карты значимости CNN.

Проверка корректности 1. Тест рандомизации параметров модели

Если мы собираемся использовать карты значимости, чтобы понять, как модель делает прогнозы или почему она делает ошибки, то мы надеемся, что карты значимости как-то связаны с параметрами, которые модель усвоила во время обучения. Таким образом, первый набор проверок работоспособности включает рандомизацию весов модели: мы уничтожаем то, что модель узнала, и проверяем, влияет ли это разрушение на карты значимости.

Если рандомизация весов «ломает» карты значимости, это означает, что карты значимости зависят от того, чему модель научилась (хорошо). Если рандомизация весов не влияет на карты значимости, это означает, что карты значимости не связаны с тем, что модель узнала (плохо).

Есть два подэксперимента: (1) рандомизация всех весов в модели и (2) рандомизация одного слоя за раз.

Результаты проверки работоспособности 1:

ПРОЙТИ: Градиент, GradCAM
ОТКАЗ: управляемое обратное распространение, управляемое GradCAM

Вот рисунок 2 из статьи:

Здесь каждая строка соответствует разному методу карты значимости. Мы видим объяснения карты значимости, полученные различными методами, поскольку веса CNN постепенно рандомизируются от верхнего к нижнему слоям. В крайнем правом углу была достигнута полная рандомизация всех весов, и мы надеемся, что объяснение карты значимости было уничтожено.

Адебайо и др. Подчеркните, что качественной визуальной оценки карт заметности недостаточно для понимания того, была ли разрушена карта заметности. Таким образом, они обеспечивают количественную оценку на рисунках 3 и 4 (не показаны), сообщая о ранговой корреляции, сходстве HOG и SSIM между исходной картой значимости и рандомизированной модельной картой значимости. Подробности см. В документе.

Проверка корректности 2: Тест рандомизации данных

В тесте рандомизации данных модель обучается на рандомизированных обучающих данных, для которых были переставлены все обучающие метки, то есть модель обучается на данных, для которых нет связи между содержимым данных и меткой данных. Возможно, изображение собаки помечено как «птица», другое изображение собаки - «самолет», а изображение самолета - как «человек».

Адебайо и др. объясните мотивацию для этого теста:

Наш тест рандомизации данных оценивает чувствительность метода объяснения к взаимосвязи между экземплярами и метками. Метод объяснения, нечувствительный к рандомизации меток, не может объяснить механизмы, которые зависят от взаимосвязи между экземплярами и метками, присутствующими в процессе генерации данных.

Единственный способ, которым нейронная сеть может хорошо справиться с задачей, в которой метки были рандомизированы, - это если сеть запомнит набор обучающих данных. В этой проверке работоспособности модели обучаются до тех пор, пока они не запомнят достаточно обучающих данных, чтобы получить точность обучения более 95%. Однако точность их тестов никогда не бывает лучше, чем случайное предположение, поскольку они не усвоили никаких обобщаемых принципов (нет никаких обобщающих принципов, которые можно было бы изучить в наборе данных, где метки были рандомизированы).

Наконец, пояснения карты значимости вычисляются для всех примеров в тестовом наборе с использованием только что описанной модели (модели, обученной на случайно переставленных метках) и другой модели, которая была обучена на истинных метках. Если объяснение карты значимости вообще основывается на обобщаемых принципах, усвоенных нейронной сетью для решения задачи, то оно должно выглядеть по-разному в зависимости от того, была ли модель обучена истинным меткам или рандомизированным меткам.

Результаты проверки работоспособности 2:

ПРОЙДЕН / ЛАКО: Градиенты, Градиент-SG, Град-САМ
ОТКАЗ: управляемое обратное распространение, управляемая GradCAM, интегрированные градиенты, градиент x ввод

Вот качественное сравнение карт значимости, показанных на рисунке 5:

На этом рисунке мы можем видеть пояснения карты значимости для цифры 0 для CNN, обученной MNIST на истинных метках (верхняя строка) и случайных метках (нижняя строка). Для работающего метода заметности мы ожидаем, что верхняя строка ( «Истинные метки»), чтобы они выглядели хорошо, а нижний ряд («случайные метки») - ужасно.

По-прежнему важно не полагаться исключительно на субъективную визуальную оценку. Таким образом, авторы проводят и количественное сравнение. На другом фрагменте рисунка 5 мы можем увидеть ранговую корреляцию между картой значимости модели, обученной на истинных метках, и картой значимости модели, обученной на рандомизированных метках:

В этом случае мы хотим, чтобы ранговая корреляция была как можно ближе к 0. Высокие значения ранговой корреляции - это плохо, потому что они означают, что карты значимости похожи между моделью, обученной на истинных метках, и моделью, обученной на случайных метках. Обратите внимание, что «Abs» означает, что мы взяли абсолютное значение из объяснения карты значимости, а «No Abs» означает, что мы оставили объяснение карты значимости как есть. Мы видим, что Gradient имеет низкую корреляцию в обоих случаях (хорошо), в то время как Integrated Gradients имеет чрезвычайно высокую корреляцию для случая Abs (плохо).

Обнаружение края

В ходе обсуждения Adebayo et al. предоставить тематическое исследование модели CNN с однослойной суммой и пулом. Это тематическое исследование предполагает, что некоторые методы выделения могут действовать как детекторы краев, потому что области в изображении, соответствующие краям, имеют паттерн активации, отличный от окружающих пикселей, и, таким образом, будут визуально «выделяться». Они отмечают,

Человек-наблюдатель рискует ошибиться в подтверждении, интерпретируя выделенные края как объяснение предсказания класса. […] В свете наших выводов вполне разумно интерпретировать некоторые методы выделения как неявно реализующие неконтролируемые методы обработки изображений, аналогичные обнаружению краев.

Резюме

Если вы используете пояснения с картой значимости в своей работе, придерживайтесь градиентов или простого GradCAM, поскольку эти методы, по-видимому, полагаются на веса обученной модели и взаимосвязь между обучающими примерами и их метками. Вероятно, лучше избегать управляемого обратного распространения ошибки и управляемого GradCAM, поскольку эти подходы могут просто функционировать как детекторы границ, а не как надежные объяснения.