В этой истории кратко рассматривается RiR (ResNet в ResNet). RiR пытается обобщить блок ResNet для остаточной сети, сделав ввод с остаточным потоком и временным потоком, чтобы повысить точность . И он опубликован в 2016 arXiv примерно с 80 цитированием. Я отношусь к RiR как к отрывным бумагам для ResNet. (Сик-Хо Цанг @ средний)
RiR разработан таким образом, что входной сигнал может проходить по сети между ResNet и стандартной ConvNet.
Что покрыто
- ResNet в ResNet
- Результаты
- Дальнейший анализ
1. ResNet в ResNet
Обобщенная остаточная архитектура вводится для объединения остаточных сетей и стандартных сверточных сетей в параллельных остаточных и неостаточных потоках.
(a) Is - стандартный блок ResNet, который состоит из пути свертки и пути пропуска соединения.
(b) Это один обобщенный остаточный блок (ResNet Init), который сформулирован следующим образом:
Таким образом, он может параллельно комбинировать остаточные сети и стандартные сверточные сети.
(c) Когда затененные соединения в ResNet Init стремятся к 0, тогда он становится двухуровневым блоком ResNet. Таким образом, RiR добавляет гибкости сети между ResNet и стандартной ConvNet.
(d) Посредством каскадного подключения 2 ResNet Init получается двухуровневый блок RiR.
В таблице ниже приведены условия, при которых остаточные и переходные соединения включены / выключены:
18-слойный + широкий RiR, использованный для экспериментов:
2. Результаты
2.1. СИФАР-10
- 18-слойный + широкий RiR дает лучшие результаты, чем 110-слойный ResNet.
- Он дает конкурентные результаты 94,99% по сравнению с дробным максимальным объединением.
2.2. СИФАР-100
- 18 слоев + ширина RiR обеспечивает лучшую точность 77,10%.
3. Дальнейший анализ
3.1. Эффект обнуления полученных связей
- При обнулении одного из потоков на разных уровнях вдоль слоев наблюдаются постоянные падения. Это показывает, что как остаточные, так и переходные потоки на каждом уровне также важны для обеспечения точности.
3.2. Добавление дополнительных слоев в остаточный блок
- При увеличении количества слоев с 8 до 10 точность исходного ResNet сильно падает.
- RiR остается постоянным для разного количества слоев для каждого остаточного блока.
3.3. Исследование количества блоков и слоев в блоке
- 9 блоков с 3 слоями в блоке лучше всего подходят для RiR
Помимо RiR, есть еще одна побочная статья, ResNet of ResNet (RoR), впервые появившаяся в arXiv 2016 года и недавно опубликованная в TCSVT 2018 года. Надеюсь, я смогу рассказать об этом в будущем.
использованная литература
[2016 arXiv] [RiR]
ResNet в ResNet: обобщение остаточных архитектур
Мой связанный обзор
[LeNet] [AlexNet] [ZFNet] [VGGNet] [SPPNet] [PReLU-Net] [GoogLeNet / Inception-v1] [BN-Inception / Inception-v2 ] [ Inception-v3 ] [ Inception-v4 ] [ Xception ] [ MobileNetV1 ] [ ResNet ] [ Pre-Activation ResNet ] [ Stochastic Depth ] [ DenseNet ]
