- Recipro-CAM: безградиентная взаимная активация класса (arXiv)
Автор: Сок-Ён Бён, Вонджу Ли.
Аннотация: сверточная нейронная сеть (CNN) становится одной из самых популярных и известных архитектур глубокого обучения для компьютерного зрения, но ее функция «черного ящика» скрывает внутренний процесс прогнозирования. По этой причине специалисты по ИИ пролили свет на объяснимый ИИ, чтобы обеспечить интерпретируемость поведения модели. В частности, карты активации классов (CAM) и методы на основе Grad-CAM показали многообещающие результаты, но они имеют архитектурные ограничения или нагрузку на градиентные вычисления. Чтобы решить эту проблему, Score-CAM был предложен как метод без градиента, однако он требует большего времени выполнения по сравнению с методами на основе CAM или Grad-CAM. Поэтому мы предлагаем облегченную архитектуру и Reciprocal CAM без градиента (Recipro-CAM) путем пространственного маскирования извлеченных карт признаков для использования корреляции между картами активации и выходными данными сети. С помощью предложенного метода мы добились прироста 1,78–3,72% в семействе ResNet по сравнению с Score-CAM в метрике средней сложности падения-когерентности (ADCC), исключая VGG-16 (падение 1,39%). Кроме того, Recipro-CAM демонстрирует скорость генерации карты важности, подобную Grad-CAM, и примерно в 148 раз быстрее, чем Score-CAM. Исходный код Recipro-CAM доступен в нашей системе анализа данных.
2.VS-CAM: сопоставление активации семантического класса вершин для интерпретации нейронной сети Vision Graph (arXiv)
Автор: Чжэнпэн Фэн, Сиянг Цуй, Хунбин Цзи, Минчжэ Чжу, Любиса Станкович.
Аннотация: графовая сверточная нейронная сеть (GCN) привлекает все большее внимание и достигла хороших результатов в различных задачах компьютерного зрения, однако отсутствует четкая интерпретация внутреннего механизма GCN. Для стандартных сверточных нейронных сетей (CNN) методы отображения активации классов (CAM) обычно используются для визуализации связи между решением CNN и областью изображения путем создания тепловой карты. Тем не менее, такая тепловая карта обычно демонстрирует семантический хаос, когда эти CAM применяются непосредственно к GCN. В этой статье мы предложили новый метод визуализации, особенно применимый к GCN, отображение активации семантического класса вершин (VS-CAM). VS-CAM включает в себя два независимых конвейера для создания набора карт семантического зондирования и базовой семантической карты соответственно. Карты семантического зондирования используются для обнаружения семантической информации из семантической базовой карты для агрегирования тепловой карты с учетом семантики. Качественные результаты показывают, что VS-CAM может получать тепловые карты, в которых выделенные области соответствуют объектам гораздо точнее, чем CAM на основе CNN. Количественная оценка также демонстрирует превосходство VS-CAM.
