Этот обзор Ифань Чжан, Бингьи Канг, Брайан Хуой, Шуйчэн Янь и Цзяши Фэн освещает следующую тему гораздо более подробно, и я настоятельно рекомендую ознакомиться с ним для более тщательного обсуждения идей, упомянутых в этой статье.
С огромным успехом глубокого обучения в области распознавания изображений возникла необходимость применять эти методы для решения реальных проблем. Однако здесь возникает проблема, заключающаяся в том, что в реальных приложениях обучающие выборки обычно следуют распределению классов с длинными хвостами, где небольшая часть классов имеет массивные точки выборки, а другие связаны лишь с несколькими выборками. Таким образом, модель может быть легко смещена в сторону головных классов, что приведет к плохой работе с хвостовыми классами [1].
Было изучено множество методов противодействия такому дисбалансу классов, в основном сгруппированных в 3 категории. В этой статье я надеюсь дать краткий обзор этих методов.
Перебалансировка классов
Повторная балансировка классов является основной парадигмой в обучении с длинными хвостами, которая стремится сбалансировать количество обучающих выборок разных классов во время обучения модели [1].
- Повторная выборка.Повторная выборка — один из наиболее широко используемых за последнее десятилетие методов решения проблем дисбаланса классов. Наиболее распространенными типами выборки являются случайная избыточная выборка (ROS) и случайная недостаточная выборка (RUS). Первый случайным образом повторяет выборки из хвостовых классов, а второй случайным образом отбрасывает выборки из головных классов. Однако в последнее время были разработаны различные другие формы методов выборки с меньшей степенью случайности, такие как сбалансированная по классам повторная выборка и схемно-ориентированная выборка.
- Обучение с учетом затрат.Обучение с учетом затрат направлено на перебалансировку классов путем корректировки значений потерь для разных классов во время обучения. В недавних исследованиях были разработаны различные экономичные методы обучения с длинным хвостом для устранения дисбаланса классов, включая переоценку на уровне класса и изменение маржи на уровне класса. Перевзвешивание на уровне класса напрямую использует частоты меток обучающих выборок для повторного взвешивания потерь. Переопределение границ на уровне класса направлено на устранение дисбаланса классов путем корректировки минимального поля (т. е. расстояния) между изученными функциями и классификатором модели для разных классов [1].
- Корректировка логита. Корректировка логита — это метод, который сдвигает логит модели на основе частот меток. Недавно Менон и соавт. в Google опубликовали исследование под названием Обучение с длинным хвостом с помощью логит-корректировки, которое доказало, что логит-корректировка согласуется с Фишером, чтобы минимизировать среднюю ошибку для каждого класса.
Увеличение информации
Методы, основанные на дополнении информации, стремятся ввести дополнительную информацию в обучение модели, чтобы можно было улучшить производительность модели при обучении с длинным хвостом. В этом типе метода есть два вида методов: трансферное обучение и увеличение данных [1].
- Передача обучения. Целью передачи обучения является передача знаний из исходной области (например, наборов данных, задач или классов) для улучшения обучения модели в целевой области. В глубоком обучении с длинными хвостами существует четыре основных схемы обучения с передачей: непосредственная передача знаний, предварительное обучение модели, дистилляция знаний и самообучения [1].
- Увеличение данных.Пополнение данных — это, по сути, набор методов, используемых для создания большего количества экземпляров обучающих данных из самих существующих обучающих данных, что увеличивает размер и качество наборов данных для обучения модели. В области глубокого длиннохвостового обучения существуют две группы методов увеличения данных, включая расширение на основе передачи и обычное (без передачи) увеличение.
Улучшение модуля
Этот класс методов разработан с целью улучшения сетевых модулей в обучении с длинными хвостами.
- Обучение на основе представлений.Существующие методы обучения на основе представлений для обучения с длинными хвостами основаны на четырех основных парадигмах: метрическом обучении, последовательном обучении, обучении прототипов и трансферном обучении. Метричное обучение направлено на разработку метрик расстояния для конкретных задач для установления сходства или различия между объектами. Примером последовательного обучения является иерархическое изучение признаков (HFL), которое иерархически группирует объекты в визуально похожие группы, формируя иерархическое кластерное дерево. В этом исследовании Ouyang et al. создать такое дерево кластера, в котором модель в исходном узле предварительно обучена на ImageNet-1K; модель в каждом дочернем узле наследует параметры модели от своего родительского узла, а затем настраивается на основе образцов в узле кластера. Таким образом, знания из групп с массовыми занятиями постепенно передаются их подгруппам с меньшим количеством занятий. Методы обучения на основе прототипов направлены на изучение прототипов функций, специфичных для класса, для повышения эффективности обучения с длинными хвостами. Длиннохвостые методы, основанные на переносе обучения, которые улучшают обучение представлению, включают SSP, LEAP и неконтролируемое обнаружение (UD) [1] [3].
- Дизайн классификатора. Различные дизайны классификаторов также могут быть полезны при решении проблем с длинными хвостами. Во многих исследованиях изучались различные конструкции в зависимости от варианта их использования. Несколько примеров: RTC (реалистичный таксономический классификатор), случайный классификатор и классификатор GIST.
- Раздельное обучение.Раздельное обучение разделяет процедуру обучения на обучение представлению и обучение классификатору. При разделенном обучении основные наблюдения двоякие: (1) выборка, сбалансированная по экземплярам, на удивление, является лучшей стратегией для обучения представлению; (2) дьявол кроется в классификации: перенастройка классификатора приводит к значительному повышению производительности при распознавании с длинными хвостами [1].
- Обучение ансамблем:методы обучения, основанные на ансамбле, стратегически генерируют и объединяют несколько сетевых модулей (а именно, нескольких экспертов) для решения сложных задач визуального обучения [1]. Иллюстрация существующих методов обучения с длинным хвостом на основе ансамбля показана ниже:
Еще одним интересным вкладом этого опроса является предложение новой метрики для решения проблем обучения с длинными хвостами: относительная точность.
Учитывая, что основная цель исследований длиннохвостого обучения состоит в том, чтобы обеспечить лучшую производительность моделей при обработке дисбалансов классов, была предложена новая метрика, которая пытается лучше представить способность модели справляться с дисбалансами классов. Обычный протокол оценки состоит в том, чтобы напрямую использовать первую точность теста, чтобы оценить, насколько хорошо работают методы с длинными хвостами и какой из них лучше справляется с дисбалансом классов. Проблема здесь в том, что такие показатели не могут точно отражать относительное превосходство этих методов, потому что на точность топ-1 могут влиять другие факторы, помимо дисбаланса классов. В опросе была введена новая метрика «Относительная точность», чтобы уменьшить влияние ненужных факторов на обучение с длинными хвостами.
Кредит и ссылки:
[1] Глубокое длиннохвостое обучение: обзор Ифань Чжан, Бингьи Канг, Брайан Хуи, Шуйчэн Ян и Цзяши Фэн. https://arxiv.org/pdf/2110.04596.pdf
[2] Обучение с длинным хвостом через логит-настройку, Адитья Кришна Менон, Садип Джаясумана, Анкит Сингх Рават, Химаншу Джейн, Андреас Вейт и Санджив Кумар. https://arxiv.org/pdf/2007.07314.pdf
[3] Факторы точной настройки глубокой модели для обнаружения объектов с распределением с длинным хвостом, Ванли Оуян и Конг Чжан. https://openaccess.thecvf.com/content_cvpr_2016/papers/Ouyang_Factors_in_Finetuning_CVPR_2016_paper.pdf