- Обучение путем сортировки: самоконтролируемое обучение с ограничениями группового упорядочения(arXiv)
Автор :Нина Швецова, Феликс Петерсен, Анна Куклева, Бернт Шиле, Хильде Кюне
Аннотация . Сравнительное обучение стало важным компонентом обучения репрезентациям неразмеченных данных. Однако существующие методы в первую очередь рассматривают парные отношения. В этой статье предлагается новый подход к самоконтролируемому контрастивному обучению, основанному на ограничениях группового упорядочения (GroCo). Потеря GroCo использует идею сравнения групп положительных и отрицательных изображений вместо пар изображений. Основываясь на недавнем успехе алгоритмов дифференцируемой сортировки, ограничения группового упорядочения требуют, чтобы расстояния всех положительных образцов (положительная группа) были меньше, чем расстояния всех отрицательных изображений (отрицательная группа); таким образом, заставляя положительные образцы собираться вокруг якоря. Это приводит к более целостной оптимизации локальных окрестностей. Мы оцениваем предлагаемую настройку на наборе конкурирующих самостоятельных контрольных показателей обучения и показываем, что наш метод не только конкурентоспособен по сравнению с текущими методами в случае линейного зондирования, но также приводит к более высокой согласованности в локальных представлениях, как видно из значительного улучшена производительность k-NN во всех тестах
2. TriNet: стабилизация обучения с самоконтролем от полного или медленного сбоя(arXiv)
Автор: Лисинь Цао, Цзюнь Ван, Бен Ян, Дань Су, Дун Юй
Вывод:модели обучения с учителем (SSL) сталкиваются с проблемами резкого информационного коллапса или медленного коллапса измерений. Мы предлагаем TriNet, который представляет новую трехветвевую архитектуру для предотвращения коллапса и стабилизации предварительной тренировки. Наши экспериментальные результаты показывают, что предлагаемый метод заметно стабилизирует и ускоряет предварительное обучение и обеспечивает относительное снижение частоты ошибок в словах (WERR) на 5,32% по сравнению с современным (SOTA) Data2vec для последующего эталонного задания ASR. Мы опубликуем наш код на https://github.com/tencent-ailab/
