Введение

Глубокая сеть добилась выдающихся результатов в задачах компьютерного зрения, таких как распознавание изображений и обнаружение объектов. Однако в большинстве случаев классификатор, обученный на конкретном наборе данных, плохо обобщается в любом новом наборе данных, это явление известно как проблема сдвига данных. Чтобы решить эту проблему смещения данных, мы узнаем, как работает адаптация данных — включите или адаптируйте модель для хорошего обобщения как в исходной, так и в целевой области.

Предлагаемый метод

В этой статье авторы представили подход к регуляризации под названием «Выравнивание кластера с учителем» (сокращение от CAT) в UDA. Он имеет 3 основные цели обучения.

Во-первых, CAT пытается свести к минимуму контролируемую потерю классификации в исходном домене. Он заимствует идею парадигмы учитель-ученик из полуконтролируемого обучения, которое создает модель учителя в исходной области и предоставляет псевдометки немаркированной целевой области данных. Условное распределение класса в исходном домене очевидно, потому что образцы полностью помечены, но не в случае целевого домена из-за отсутствия меток. При реализации модели учителя она действует как функция маркировки и распространяет метки на немаркированные целевые данные и создает их соответствующее условное распределение класса.

Во-вторых, с псевдометками в целевом домене данных он может использовать потерю кластеризации с условием класса, чтобы побудить функции из одного класса концентрироваться вместе и отодвинуть эти функции из разных классов далеко.

Кроме того, CAT также выравнивает кластеры, соответствующие одному и тому же классу, но из разных доменов (исходного и целевого доменов) в пространстве признаков, чтобы их можно было разделить по распределению полей. Он предоставляет пространство признаков, не зависящее от предметной области, с повышенной дискриминационной способностью.

Позвольте мне пройтись по условным обозначениям здесь. X_{s} — это набор образцов, содержащих помеченные исходные данные, тогда как Y_{s} — это набор образцов, содержащие немаркированные целевые данные.

Потери контролируемой классификации определяются как:

где потеря может быть кросс-энтропийной потерей, оптимизирует классификатор h относительно. помеченные исходные данные. Это обучение сводит к минимуму контролируемую потерю модели для визуализации модели учителя.

Чтобы добиться дискриминационного обучения и выравнивания распределения по классам между исходным и целевым доменами, они предложили дискриминационную потерю кластеризации, которая формирует кластеры на функциях, принадлежащих к одному и тому же классу, и различает объекты разных классов. Условно-классовая структура может быть сформирована так, чтобы она была более различительной, оптимизируя эту потерю кластеризации. Он постепенно изменяет структуру в пространстве представления.

Дискриминационная потеря кластеризации определяется как:

Кроме того, была также предложена потеря выравнивания на основе кластеров для выравнивания кластеров, соответствующих одному и тому же классу в разных доменах. Геометрическое выравнивание кластеров из двух доменов должно быть адаптировано, чтобы лучше изучить доменно-инвариантные функции и настроить целевое пространство признаков, чтобы его можно было классифицировать.

Потеря выравнивания на основе кластера определяется как:

Учитывая упомянутые выше алгоритмы, CAT оптимизирует классификатор следующим образом:

использованная литература

[1] https://arxiv.org/abs/1903.09980

[2] Гитхаб: https://github.com/thudzj/CAT