- Когда привилегированная информация объясняет шум от меток? (arXiv)
Автор: Гильермо Ортис-Хименес, Марк Колье, Анант Навальгария, Александр Д’Амур, Джесси Берент, Родольф Дженаттон, Эфросини Кокиопулу.
Аннотация. Недавно было показано, что использование привилегированной информации (PI) или функций, доступных во время обучения, но не во время тестирования, является эффективным методом устранения шума меток. Однако причины его эффективности недостаточно изучены. В этом исследовании мы исследуем роль, которую играют различные свойства PI в объяснении устранения шума меток. Проводя эксперименты с несколькими наборами данных с реальным PI (CIFAR-N/H) и новым крупномасштабным эталонным тестом ImageNet-PI, мы обнаружили, что PI наиболее полезен, когда он позволяет сетям легко отличать чистые данные от зашумленных, обеспечивая при этом ускорение обучения. запоминать шумные примеры. Интересно, что когда PI становится слишком предсказуемым для целевого ярлыка, методы PI часто работают хуже, чем их базовые уровни без PI. Основываясь на этих выводах, мы предлагаем несколько улучшений современных методов PI и демонстрируем потенциал PI как средства борьбы с шумом меток. Наконец, мы покажем, как мы можем легко комбинировать полученные подходы PI с существующими методами без PI, разработанными для борьбы с шумом меток.
2. Глубокое активное обучение в присутствии шума этикеток: опрос (arXiv)
Автор : Мосели Моцоэли
Аннотация: Глубокое активное обучение стало мощным инструментом для обучения моделей глубокого обучения в рамках заранее определенного бюджета на маркировку. Эти модели достигли производительности, сравнимой с моделями, обученными в автономном режиме. Однако глубокое активное обучение сталкивается с существенными проблемами при работе с наборами данных классификации, содержащими зашумленные метки. В этом обзоре литературы мы обсуждаем текущее состояние глубокого активного обучения в условиях шума меток, выделяя уникальные подходы, их сильные и слабые стороны. Учитывая недавний успех преобразователей зрения в задачах классификации изображений, мы представляем краткий обзор и рассматриваем, как можно использовать слои преобразователя и механизмы внимания для повышения разнообразия, важности и выбора на основе неопределенности в запросах, отправляемых оракулу для маркировки. Мы также предлагаем изучить контрастные методы обучения, чтобы получить хорошие представления изображений, которые могут помочь в выборе образцов с высокой ценностью для маркировки в условиях активного обучения. Мы также подчеркиваем необходимость создания унифицированных контрольных показателей и стандартизированных наборов данных для глубокого активного обучения в присутствии шума меток для классификации изображений, чтобы способствовать воспроизводимости исследований. Обзор завершается предложением направлений будущих исследований в этой области.
