Обзор

Оригинальная статья: Визуализация глубоких сетей путем оптимизации с помощью встроенных градиентов



Визуализация глубоких сетей с помощью оптимизации с интегрированными градиентами
Понимание и интерпретация решений, принимаемых моделями глубокого обучения, ценны во многих областях. На компьютере…arxiv.org



TL;DR

  • Тепловые карты не все равны, важно то, как они соотносятся с фактической обработкой.
  • Хорошая корреляция имеет основополагающее значение для понимания сильных сторон, автоматически изученных CNN, чтобы иметь возможность отлаживать NN.

Карта I-GOS намного точнее определяет сильные черты на изображении, фактически

  • их удаление снижает точность CNN
  • удаление пикселей, возвращаемых другими тепловыми картами, но не I-GOS, очень незначительно снижает точность CNN.

Подробности

Соответствующие показатели

  • Метрики удаления
  • Показатели вставки

Показатели удаления

  • Состоит из удаления частей изображения и проверки влияния на окончательный прогноз.
  • Ожидается, что NN сможет правильно выполнять прогнозирование до тех пор, пока не будет удалена некоторая релевантная область, после чего точность прогнозирования падает.

Показатели вставки

  • Состоит из предоставления в сеть только определенных регионов и проверки влияния на окончательный прогноз
  • Ожидается, что NN не сможет правильно выполнить прогноз, пока не будет добавлена ​​некоторая релевантная область, тогда точность прогноза возрастет.

Градиенты изображения

  • Рассмотрим заданное входное изображение, которое NN может классифицировать с высокой степенью достоверности.
  • Рассматривайте базовое изображение как изображение, которое NN не может классифицировать каким-либо образом, например. черное или очень размытое изображение
  • Преобразование базового изображения во входное изображение по всем размерам изображения (значениям в пикселях) дает (огромный) набор промежуточных изображений.
  • Наблюдая за результатами НС на этих промежуточных изображениях, мы ожидаем, что точность предсказания будет улучшаться по мере того, как мы приближаемся к фактическим входным данным, но не одинаково на всех путях эволюции: на самом деле больше пути эволюции приведут к более значительным улучшениям, чем другие, потому что они несут в себе самые отличительные особенности
  • В этом контексте градиент представляет изменение точности NN по отношению к изменению входных данных (эволюция)

Стратегии

  1. Оптимизация показателей
  • Найдите тепловые карты в результате проблемы с оптимизацией, нацеленной на вышеупомянутые показатели.

2. Градиенты изображения

  • И-ГОС

Работа в процессе