- Самодистилляция для регрессии и классификации гауссовых процессов (arXiv)
Автор: Кеннет Боруп, Ларс Норванг Андерсен.
Аннотация: Большинство самоконтролируемых методов обучения представлению используют цель согласованности между представлениями, т. Е. Они максимизируют сходство представления расширенных представлений данного изображения. Недавняя работа NNCLR выходит за рамки парадигмы перекрестного обзора и использует положительные пары из разных изображений, полученных с помощью начальной загрузки ближайшего соседа в контрастной настройке. Мы эмпирически показываем, что в отличие от настройки контрастного обучения, основанной на отрицательных выборках, включение начальной загрузки ближайшего соседа в схему самодистилляции может привести к падению производительности или даже краху. Мы тщательно изучаем причину такого неожиданного поведения и предлагаем решение. Мы предлагаем адаптивную загрузку соседей на основе предполагаемого качества скрытого пространства. Мы сообщаем о последовательных улучшениях по сравнению с наивным подходом начальной загрузки и исходными базовыми показателями. Наш подход приводит к повышению производительности для различных комбинаций метода самоперегонки/основы и стандартных последующих задач. Наш код будет выпущен после принятия
2. Самостоятельная дистилляция для распознавания хирургического действия (arXiv)
Автор: Амин Ямлахи, Туи Нуонг Тран, Патрик Годау, Мелани Шелленберг, Доминик Майкл, Финн-Генри Смидт, Ян-Хинрих Ноэльке, Тим Адлер, Мину Дитлинде. Тизаби», Чинеду Нвойе, Николя Падой, Лена Майер-Хейн
Резюме: понимание хирургической сцены является ключевой предпосылкой для контекстно-зависимой поддержки принятия решений в операционной. Хотя подходы, основанные на глубоком обучении, уже достигли или даже превзошли возможности человека в различных областях, задача распознавания хирургических действий остается серьезной проблемой. С этим вкладом мы первыми исследовали концепцию самодистилляции как средство устранения дисбаланса классов и потенциальной двусмысленности меток в хирургическом видеоанализе. Предлагаемый нами метод представляет собой разнородный ансамбль из трех моделей, которые используют Swin Transfomers в качестве основы и концепции самообработки и многозадачного обучения в качестве основных вариантов дизайна. Согласно исследованиям абляции, проведенным с использованием данных испытания CholecT45 посредством перекрестной проверки, наибольший прирост производительности достигается за счет использования мягких меток, полученных путем самоперегонки. Внешняя проверка нашего метода на независимом тестовом наборе была достигнута путем предоставления контейнера Docker нашей модели вывода организаторам соревнования. Согласно их анализу, наш метод превосходит все другие решения, представленные в соответствии с последними вызовами в этой области. Таким образом, наш подход демонстрирует потенциал самодистилляции как важного инструмента в приложениях для анализа медицинских изображений.
