ПОНИМАНИЕ МЕТОДОВ XAI

Методы XAI — управляемое обратное распространение

Введение в метод интерпретируемости Guided Backpropagation.

Что такое управляемое обратное распространение?

Управляемое обратное распространение (GBP) [3] — это подход, разработанный Спрингенбергом и др., основанный на идеях [1] и [2]. Авторы утверждают, что подход Симонян и соавт. [2] имеет проблему с потоком отрицательных градиентов, что снижает точность верхних слоев, которые мы пытаемся визуализировать. Их идея состоит в том, чтобы объединить два подхода и добавить направляющую в Saliency с помощью деконволюции.

Чтобы достичь этого, мы должны сосредоточиться на функции активации ReLU в CNN. При вычислении значений в компоненте Rectification сети deconvnet мы маскируем все неположительные значения с помощью ReLU. В этом слое вычисленные значения рассчитываются только на основе верхнего сигнала (реконструкция из верхнего слоя), а ввод игнорируется. С другой стороны, в методе Saliency мы фокусируемся на значениях градиента, вычисленных на основе входного изображения. Если мы возьмем деконвертирующую маскировку слоя Rectification и применим ее к значениям градиента метода Saliency, мы сможем удалить шум, вызванный отрицательными значениями градиента. Это удаление шума является причиной того, что метод имеет префикс управляемый. Деконволюция направляет значения обратного распространения метода Saliency для получения более четких изображений (Рис. 1c).

Как мы видим на Рис. 1c, использование направляющей значительно снижает количество шума, генерируемого методом Saliency (Рис. 1d). Идея GBP часто неправильно понимается и интерпретируется как применение результатов деконволюции к результатам значимости. Это неверно, потому что маскирование ReLU, извлеченное из деконсети, применяется на каждом уровне и, следовательно, влияет на значения градиента на всем пути до входа CNN, а не только на первом уровне CNN.

Использованная литература:

  1. М. Д. Цейлер, Р. Фергус. Визуализация и понимание сверточных сетей, 2013.
  2. К. Симонян, А. Ведальди, А. Зиссерман. Глубоко внутри сверточных сетей: Визуализация моделей классификации изображений и карт значимости, 2014.
  3. Дж. Т. Спрингенберг, А. Досовицкий, Т. Брокс, М. Ридмиллер. Стремление к простоте: полностью сверточная сеть, 2014.
  4. А. Хосла, Н. Джаядевапракаш, Б. Яо, Л. Фей-Фей. Набор данных Стэнфордских собак. https://www.kaggle.com/jessicali9530/stanford-dogs-dataset, 2019 г. Дата обращения: 01.10.2021.

Первоначально опубликовано на https://erdem.pl.