Эта тема представляет собой статью Spot Light, опубликованную на CVPR 2018[1]. [Ссылка на статью]
Мы представим идею этой статьи и покажем, как воспроизвести результат.
Надеюсь, вам понравится. [ссылка на Github]
Задача:
В этой статье решается проблема семантической сегментации изображений. Для этой задачи нужны данные с маркировкой на уровне пикселей. Это отнимающее много времени приложение. Поэтому автор предлагает использовать метод адаптации предметной области, используя синтетические знания предметной области.
Идеи.
Идея этой статьи заключается в заимствовании опыта обучения из синтетических данных. Почему мы можем это сделать? Поскольку пространственная структура макета аналогична [рисунок 1]. Если мы сможем позаимствовать опыт из синтетических данных. Мы уменьшим сложность обучения. Однако эта работа ограничена тем, что если у нас нет пространственной структуры, мы не можем сделать это хорошо. Но изучение сходства синтетических данных с реальной идеей данных по-прежнему заслуживает изучения.
Метод:
из-за того, что макет исходных и целевых данных аналогичен. Поэтому автор предлагает использовать тот же экстрактор признаков и адаптировать признак семантического значения высокого уровня в конце модели. Они используют состязательную потерю, чтобы позволить модели сегментации генерировать маску сегментации и сделать так, чтобы сеть дискриминатора не могла различать этот макет из исходного или целевого домена. (Можно сослаться на GAN)
В части выбора архитектуры они используют «Deeplab v2» [2] в качестве сети сегментации и с помощью модуля «Atrous Spatial Pyramid Pooling (ASPP)» [3] получают многомасштабную информацию.
[Видео, мы обновим его.]
Воспроизвести следующим образом:
1. Клонируйте наш репозиторий github:
операционная система linux с помощью командной строки: git clone https://github.com/stu92054/Domain-adaptation-on-segmentation.git
Другая операционная система: скачать этот архив
2. Загрузите наборы данных:
загрузите synthia напрямую. Заполните форму заявки NMD и городской пейзаж, чтобы запросить загрузку.
3. Использование тестовой оболочки для проверки успешности построения среды.
4. Используя обучающую оболочку, проверьте, готовы ли вы знать, как ею управлять.
5. Попробуйте изменить данные и наслаждайтесь.
Ссылка :
[1] Йи-Сюань Цай, Вей-Чи Хун, Самуэль Шультер, Кихьюк Сон, Мин-Сюань Ян, Манмохан Чандракер, «Обучение адаптации структурированного вывода Пространство семантической сегментации. In CVPR, 2018.»
[2]Лян-Чие Чен, Джордж Папандреу, Ясонас Коккинос, Кевин Мерфи, Алан Л. Юилль, «DeepLab: сегментация семантического изображения с помощью глубоких сверточных сетей, Atrous Convolution и полностью связанные CRF. In TPAMI, 2017.»
[3] Лян-Чие Чен, Джордж Папандреу, Флориан Шрофф, Хартвиг Адам, «
Переосмысление Atrous Convolution для семантической сегментации изображений. В архиве, декабрь 2017 г.»
