- Поэтапная семантическая сегментация по классам посредством псевдомаркировки и дистилляции знаний (arXiv)
Автор: Чэнцзя Цзян, Тао Ван, Сянь Ли, Цзиньян Ван, Шируй Ван, Антониос Антониу.
Аннотация: Мы решаем проблему изучения новых классов для моделей семантической сегментации на нескольких примерах, что является сложной задачей по следующим двум причинам. Во-первых, на основе ограниченных новых данных трудно понять основное распределение классов. Во-вторых, сложно сохранить знания для существующих занятий и избежать катастрофического забывания. Для обучения на ограниченных данных мы предлагаем стратегию псевдомаркировки, чтобы дополнить обучающие аннотации, состоящие из нескольких кадров, чтобы более эффективно изучать новые классы. Учитывая только одно или несколько изображений, помеченных новыми классами, и гораздо больший набор немаркированных изображений, мы переносим знания от помеченных изображений к немаркированным изображениям с помощью подхода псевдомаркировки от грубого к точному в два этапа. В частности, мы сначала сопоставляем каждое помеченное изображение с его ближайшими соседями в немаркированном наборе изображений на уровне сцены, чтобы получить изображения с аналогичной компоновкой сцены. За этим следует получение псевдометок внутри этой окрестности путем применения классификаторов, полученных на основе аннотаций из нескольких кадров. Кроме того, мы используем дистилляцию знаний как по размеченным, так и по неразмеченным данным, чтобы сохранить знания о существующих классах. Мы интегрируем вышеуказанные шаги в единую сверточную нейронную сеть с единой целью обучения. Обширные эксперименты с наборами данных Cityscapes и KITTI подтверждают эффективность предлагаемого подхода в области беспилотного вождения. Код доступен по адресу https://github.com/ChasonJiang/FSCILSS.
2. Изучение псевдометки на основе неопределенности для надежного стереосопоставления (arXiv)
Автор: Чжэлунь Шэнь, Сибинь Сун, Ючао Дай, Динфу Чжоу, Чжибо Рао, Лянцзюнь Чжан.
Аннотация: Из-за различий в предметных областях и несбалансированного распределения различий между несколькими наборами данных современные подходы к стереосопоставлению обычно ограничиваются конкретным набором данных и плохо обобщаются на другие. Такая проблема смещения области обычно решается путем существенной адаптации дорогостоящих наземных данных целевой области, которые нелегко получить в практических условиях. В этой статье мы предлагаем углубиться в оценку неопределенности для надежного стереосопоставления. В частности, чтобы сбалансировать распределение несоответствий, мы используем оценку неопределенности на уровне пикселей для адаптивной настройки пространства поиска несоответствий на следующем этапе, таким образом заставляя сеть постепенно сокращать пространство маловероятных соответствий. Затем, чтобы решить ограниченные наземные данные, предлагается псевдометка, основанная на неопределенности, чтобы адаптировать предварительно обученную модель к новой области, где предлагается оценка неопределенности на уровне пикселей и области для фильтрации высокой неопределенности. пикселей прогнозируемых карт различий и генерировать редкие, но надежные псевдометки для выравнивания разрыва домена. Экспериментально наш метод демонстрирует сильную междоменную адаптацию и совместное обобщение и занимает \textbf{1-е} место в стереозадаче Robust Vision Challenge 2020. Кроме того, наши псевдометки, основанные на неопределенности, могут быть расширены для обучения монокулярной оценке глубины. сетях без присмотра и даже достигает производительности, сопоставимой с контролируемыми методами. Код будет доступен по адресу https://github.com/gallenszl/UCFNet.
