Мир архитектур сверточных нейронных сетей быстро становится более тесным и переполненным. Большинство студентов сосредоточились на использовании сетей VGG или ResNet и редко изучают другие архитектуры. Часто студенты считают, что превышение 50 уровней необязательно и требует больших вычислительных затрат. В этой короткой статье я пытаюсь показать достоинства отказа от архитектуры VGG или ResNet и изучения архитектуры сверточных сетей с плотными связями (DenseNet).
Архитектура DenseNet была предложена в основополагающей статье «Плотно связанные сверточные сети» [1]. Эта архитектура возникла из желания улучшить разрабатываемые архитектуры более высокого уровня. В частности, устраняется проблема, заключающаяся в том, что многие уровни в высокоуровневых сетях были в некотором смысле избыточными.
Архитектура DenseNet пытается решить эту проблему за счет плотного соединения всех слоев. Для неспециалистов это означает, что каждый уровень получает входные данные от всех предшествующих слоев и передает свою собственную информацию всем последующим уровням, что означает, что конечный выходной слой имеет прямую информацию от каждого отдельного слоя, включая самый первый слой. Это прямо здесь должно решить проблему избыточных слоев.
Из личного опыта моих исследований, архитектура DenseNet имеет несколько существенных преимуществ перед другими архитектурами. Во-первых, авторы указывают, что их архитектура превосходит результаты других конкурирующих архитектур в ImageNet. Я могу подтвердить это, мое исследование почти идентичных изображений показало, что архитектура DenseNet действительно обеспечивает наилучшее представление изображений. Во-вторых, авторы утверждают, что их улучшенная эффективность параметров облегчает обучение сети. По сравнению с другими сетевыми архитектурами аналогичного размера это действительно так. Я бы сказал, что время обучения на самом деле очень конкурентоспособно со временем обучения некоторых сетей нижнего уровня. Повышенная производительность, безусловно, стоит нескольких дополнительных минут тренировки.
Я призываю к дальнейшему изучению и использованию DenseNet. Вскоре я предоставлю базовый стартовый код предварительно обученной сети на GitHub.
использованная литература
[1] Дж. Хуанг, З. Лю, Л. Ван Дер Маатен, К. К. Вайнбергер, «Плотносвязные сверточные сети», Proc. - 30-я конференция IEEE. Comput. Vis. Распознавание образов, CVPR 2017, т. 2017-Январь, стр. 2261–2269, 2017.
