Основы поэтапного обучения
- eTag: Инкрементальное обучение в классах со встроенной дистилляцией и генерацией, ориентированной на задачу (arXiv)
Автор: Либо Хуан, Ян Цзэн, Чуангуан Ян, Чжулинь Ань, Боюй Дяо, Юнцзюнь Сюй.
Аннотация: Class-Incremental Learning (CIL) направлен на решение катастрофической проблемы нейронных сетей с забывчивостью, которая связана с тем фактом, что как только сеть обновляет новую задачу, ее производительность в ранее изученных задачах резко падает. Наиболее успешные методы CIL постепенно обучают экстрактор признаков с помощью сохраненных экземпляров или оценивают распределение признаков с помощью сохраненных прототипов. Однако сохраненные экземпляры нарушили бы требования конфиденциальности данных, в то время как сохраненные прототипы могут не соответствовать правильному распределению функций, что затруднило бы исследование реальных приложений CIL. В этой статье мы предлагаем метод \textit{e}встраивания дистилляции и \textit{Ta}sk-ориентированной \textit{g}генерации (\textit{eTag}) для CIL, который не требует ни образца, ни прототипа. Вместо этого eTag обеспечивает поэтапное обучение нейронных сетей без использования данных. Чтобы средство извлечения признаков не забыло, eTag выделяет вложения промежуточных блоков сети. Кроме того, eTag позволяет генеративной сети создавать подходящие функции, соответствующие потребностям лучшего добавочного классификатора. Экспериментальные результаты подтвердили, что предлагаемый нами eTag значительно превосходит современные методы CIFAR-100 и ImageNet-sub\footnote{Наш код доступен в дополнительных материалах.
2. Всегда укрепляйте свои сильные стороны: система дополнительного обучения с учетом дрейфа для прогнозирования CTR (arXiv)
Автор: Цунконг Лю, Фей Тэн, Сивэй Чжао, Чжанган Линь, Цзинхэ Ху, Цзинпин Шао.
Аннотация: прогноз рейтинга кликов (CTR) имеет большое значение в системах рекомендаций и онлайн-рекламных платформах. При обслуживании в промышленных сценариях пользовательские данные, наблюдаемые моделью CTR, обычно поступают в виде потока. Потоковые данные имеют характеристику, заключающуюся в том, что базовое распределение с течением времени дрейфует и может повторяться. Это может привести к катастрофическому забыванию, если модель просто постоянно адаптируется к новому распределению данных. Кроме того, неэффективно повторно изучать уже имеющееся распределение. Из-за нехватки памяти и разнообразия распределений данных в крупномасштабных промышленных приложениях трудно развернуть традиционные стратегии катастрофического забывания, такие как повтор, изоляция параметров и дистилляция знаний. В этой работе мы разрабатываем новую структуру инкрементного обучения с учетом дрейфа, основанную на ансамблевом обучении, для решения проблемы катастрофического забывания при прогнозировании CTR. Благодаря явному обнаружению дрейфа на основе ошибок в потоковых данных платформа дополнительно укрепляет хорошо адаптированные ансамбли и замораживает ансамбли, которые не соответствуют входному распределению, избегая катастрофических помех. Обе оценки офлайн-экспериментов и A/B-тестирования показывают, что наш метод превосходит все рассмотренные базовые показатели.
