Серия блогов, в каждом из которых представлены практические инструменты для объяснения моделей машинного обучения. В этой статье мы рассматриваем карту значимости как инструмент для объяснения моделей компьютерного зрения. Формально карты значимости определяются как средство измерения пространственной поддержки определенного класса изображения в моделях компьютерного зрения. В интересах простоты мы можем переопределить карту важности как изображение, которое выделяет интересующую..

Два года назад, когда я впервые изучал статью «Преобразователь зрения» [1], мне было не очень ясно, как визуализируется модельное внимание. Сегодня, когда я в очередной раз посетил ViT, я попытался разобраться, как работает эта визуализация. В основном я учился из хорошего блога [2] и иллюстративного блокнота Jupyter [3]. Для начала давайте суммируем некоторые основные свойства механизма визуализации внимания ViT: единицей внимания является токен (патч изображения) визуализация..

В этой статье мы попытались рассмотреть важные моменты статьи. Сначала давайте проясним одну вещь- Что такое карта заметности? По сути, он говорит нам, какие пиксели изображения являются наиболее информативными, если мы попытаемся классифицировать это изображение. Например. — Обратите внимание на осветленные пиксели справа. Теперь существуют различные методы создания карт значимости, как показано в приведенном ниже примере: Однако на этом рисунке показано сравнение..

Карты значимости в последнее время привлекают много внимания. Они представляют собой популярный инструмент визуализации, позволяющий понять, почему модель глубокого обучения приняла индивидуальное решение, например, при классификации изображения. В крупных статьях, таких как Dueling DQN и Примеры состязательности для CNN , используются карты значимости, чтобы показать, на чем их модели фокусируют свое внимание. Карты значимости¹ обычно визуализируются как тепловые карты (см .:..