Дизайн модели, который масштабируется для обеспечения высокой эффективности или высокой точности

Традиционно архитектуры сверточных нейронных сетей разрабатывались и оптимизировались для одной конкретной цели. Например, семейство моделей ResNet было оптимизировано для обеспечения максимальной точности в ImageNet во время его первоначального выпуска. MobileNets, как следует из названия, оптимизированы для работы на мобильных устройствах. Наконец, EfficientNet был разработан, чтобы быть высокоэффективным для задач визуального распознавания.

В своей статье «Проектирование пространств проектирования сети» Радосавович и др. решили поставить очень необычную, но очень интересную цель: они решили исследовать и разработать очень гибкую сетевую архитектуру. Тот, который может быть адаптирован для обеспечения высокой эффективности или работы на мобильных устройствах, но также будет очень точным при адаптации для наилучшей производительности классификации. Предполагается, что эта адаптация контролируется установкой правильных параметров в квантованной линейной функции (набор формул с определенными параметрами), чтобы определить ширину и глубину сети. .

Подход, который они избрали, также был очень нетрадиционным: вместо того, чтобы создавать архитектуру модели вручную, они создали так называемые Пространства проектирования сети.

Вывод модели RegNet из областей проектирования сети

Если вам нужно только здесь увидеть описание модели RegNet, смело пропустите эту часть. Я настоятельно рекомендую вам прочитать статью полностью, так как трудно понять RegNet без понимания пространства проектирования сети. В конце концов, RegNet на самом деле является не архитектурой, а пространством проектирования сети.

Пространство проектирования сети состоит не только, как следует из названия, из различных архитектур моделей, но и из различных параметров, определяющих пространство возможных архитектур моделей. Это отличается от поиска нейронной архитектуры, где все, что вам нужно сделать, это попробовать разные архитектуры и найти наиболее подходящую. Такими параметрами могут быть ширина, глубина, группы и т.д. сети. RegNet также использует только один тип сетевого блока из множества уже доступных архитектур, например. блок узкого места.

Чтобы получить окончательное пространство проектирования RegNet, авторы сначала определяют пространство всех возможных моделей, которое они называют AnyNet. Это пространство создает все виды моделей из всевозможных комбинаций различных параметров. Все эти модели обучаются и оцениваются в наборе данных ImageNet с использованием последовательного режима обучения (эпохи, оптимизатор, снижение веса, планировщик скорости обучения).

Из этого пространства AnyNet они создают постепенно упрощаемые версии исходного пространства проектирования AnyNet, анализируя, какие параметры отвечают за хорошую производительность лучших моделей в пространстве проектирования AnyNet.По сути, они экспериментировать с важностью различных параметров, чтобы сузить пространство для проектирования только хорошими моделями.

Эти усовершенствования от текущего пространства проектирования к более узкому пространству проектирования включают настройку общего соотношения узких мест и общей ширины группы, параметризацию ширины и глубины для увеличения на более поздних этапах.

Наконец, они приходят к оптимизированному пространству проектирования RegNet, которое содержит только хорошие модели, а также линейную функцию квантования, необходимую для определения моделей!

Дизайнерское пространство RegNet

Сеть состоит из нескольких стадий, состоящих из нескольких блоков, образующих стебель (начало), тело (основная часть) и головка (конец).

Внутри тела определены несколько стадий, и каждая из стадий состоит из нескольких блоков. Как упоминалось ранее, в RegNet используется только один тип блока — стандартный блок остаточного узкого места с групповой сверткой.

Как упоминалось выше, дизайн модели RegNet определяется не фиксированными параметрами, такими как глубина и ширина, а скорее квантованной линейной функцией, управляемой выбранными параметрами. После оптимизации ширина блока рассчитывается следующим образом:

Примечательно, что ширина каждого блока увеличивается в wa с каждым дополнительным блоком.
Затем авторы вводят дополнительный параметр wm (это может задается вами) и вычисляем sj:

Наконец, чтобы квантовать uj, авторы округляют sj и вычисляют квантованную ширину блока:

Теперь, когда ширина блока вычислена, давайте перейдем к этапу. Чтобы получить ширину для каждого этапа i, все блоки одинаковой ширины просто подсчитываются, чтобы сформировать один этап, поскольку все блоки за один раз должны иметь одинаковую ширину.

Чтобы теперь создать RegNet из пространства проектирования RegNet, параметры d (глубина), w0 (начальная ширина), wa (наклон) , wm (параметр ширины), b (узкое место) и g (группа).

Теперь авторы устанавливают эти параметры по-разному, чтобы получить разные сети RegNet с разными свойствами:

  • RegNet, оптимизированный для мобильного использования
  • Эффективная RegNet
  • Высокоточный RegNet

Давайте посмотрим, насколько хорошо эти сети работают по сравнению с другими архитектурами.

Полученные результаты

Во-первых, давайте рассмотрим мобильную производительность RegNet.

При одинаковом требуемом количестве FLOPS обе сети RegNet превосходят другие сети, оптимизированные для мобильных устройств, или демонстрируют одинаковую производительность. Но это не останавливаться на достигнутом.

Как упоминалось во введении, система RegNet была разработана с расчетом на высокую гибкость. Это прекрасно показано в следующих двух оценках.

Во-первых, эффективная производительность RegNet по сравнению с архитектурой EfficientNet.

Впечатляет, что при всех сравнениях у RegNet есть преимущество. Либо он имеет одинаковую точность при гораздо более высоких скоростях обучения и логического вывода, либо он более точен и быстрее, особенно в нижней части. Кроме того, авторы утверждают, что RegNetX-F8000 примерно в 5 × быстрее, чем EfficientNet-B5. Это невероятный скачок!

Когда RegNet настроен на высокую точность, результаты также выглядят хорошо.

Это еще раз демонстрирует гибкость RegNet: модель может быть высокоэффективной и быстрой или очень точной. Раньше это было возможно в одной архитектуре.

Завершение

В этой статье вы узнали о RegNet, пространстве проектирования моделей, которое отличается высокой гибкостью и использует совершенно другой подход. RegNet — это не отдельная архитектура, это пространство проектирования, определяемое квантованной линейной функцией. Хотя я надеюсь, что эта история дала вам хорошее первое представление о статье, еще многое предстоит узнать. Поэтому я бы посоветовал вам прочитать статью самостоятельно, даже если вы новичок в этой области. С чего-то надо начинать ;)

Если вас интересуют более подробные сведения о методе, представленном в статье, не стесняйтесь, напишите мне сообщение в Твиттере, моя учетная запись связана с моим профилем на Medium.

Надеюсь, вам понравилось это бумажное объяснение. Если у вас есть какие-либо комментарии к статье или вы видите какие-либо ошибки, не стесняйтесь оставлять комментарии.

И последнее, но не менее важное: если вы хотите глубже погрузиться в область передового компьютерного зрения, рассмотрите возможность стать моим последователем. Я стараюсь публиковать статью раз в неделю и информировать вас и всех, кто интересуется, о том, что нового в исследованиях компьютерного зрения!

Использованная литература:

[1] Радосавович, Илия и др. Проектирование пространств сетевого дизайна. Материалы конференции IEEE/CVF по компьютерному зрению и распознаванию образов. 2020. https://openaccess.thecvf.com/content_CVPR_2020/papers/Radosavovic_Designing_Network_Design_Spaces_CVPR_2020_paper.pdf