Проблема черного ящика
Интерпретируемость в глубоком обучении - большая проблема, над которой исследователи борются с самого начала. Сегодня задается вопрос : «Почему CNN сделал это предсказание?», а не «Как CNN сделал это предсказание?»
Учитывая тот факт, что использование глубоких нейронных сетей распространено в таких чувствительных областях, как здравоохранение (например, для обнаружения заболеваний грудной клетки), «интерпретируемость» таких сетей имеет большое значение. «Почему» диагноза имеет первостепенное значение. Медленное признание глубоких нейронных сетей в сфере финансов также связано с меньшей интерпретируемостью. Поскольку финансовые компании, банки и т. Д. Следуют надлежащей структуре и правилам, предпочтение отдается классическим методам машинного обучения, таким как древовидные модели, байесовские модели, которые легко интерпретировать.
Решение проблемы интерпретируемости также открывает новые возможности для улучшения таких сетей. Чтобы изменить представление о том, что «модели глубокого обучения - это черные ящики», появилось много методов. Одна из техник - интегрированные градиенты.
Интегрированные градиенты
Давайте начнем с примера этого изображения. Предварительно обученная начальная модель правильно классифицирует следующее изображение как «пожарную лодку».
«Какие пиксели на этом изображении отвечают за эту классификацию?»
Вот техника интегрированных градиентов -
- Рассмотрим черное изображение (каждый пиксель 0) как базовое изображение.
- Теперь интерполируйте серию изображений, увеличивая интенсивность, между базовым изображением и исходным изображением.
3. Оценки этих изображений (вывод softmax) при нанесении на график будут выглядеть следующим образом.
4. Наша область интересов находится там, где наклон графика зависимости от интенсивности не остается неизменным. Мы называем эти градиенты интересными градиентами.
5. Градиенты выходных данных относительно этих серий интерполированных изображений при вычислении дают нам следующее
6. Интеграция этих серий градиентов дает нам интегрированные градиенты изображения.
Ниже приводится реализация -
Улучшения
Хотя бумага поддерживает использование черного изображения в качестве базового изображения, я опробовал серию экспериментов с различными базовыми изображениями. В основном это были зашумленные изображения низкой интенсивности, и в некоторых случаях зашумленная базовая линия оказалась лучше.
Интегрированные градиенты с зашумленной базовой линией более разбросаны, чем в случае черной базовой линии. В некоторых случаях это может помочь лучше понять ситуацию.
Следовательно, усреднение градиентов, вычисленных с использованием различных базовых линий, может обеспечить более «надежный» результат.
Спасибо за внимание! Следуйте за мной на GitHub - https://github.com/kartikeyab для репозиториев и бумажных реализаций.
Ура!
