Как работает обнаружение отсутствия распределения
- Об обнаружении выхода за пределы распространения для аудио с глубокими ближайшими соседями(arXiv)
Автор:Захара Бухш, Аакиб Саид
Аннотация. Обнаружение выхода за пределы распределения (OOD) связано с идентификацией точек данных, которые не принадлежат к тому же распределению, что и обучающие данные модели. Для безопасного развертывания прогностических моделей в реальной среде крайне важно избегать уверенных прогнозов на входных данных OOD, поскольку это может привести к потенциально опасным последствиям. Тем не менее, обнаружение OOD в значительной степени остается малоизученной областью в области аудио (и речи). И это несмотря на то, что звук является центральной модальностью для многих задач, таких как диаризация говорящего, автоматическое распознавание речи и обнаружение звуковых событий. Чтобы решить эту проблему, мы предлагаем использовать пространство признаков модели с глубокими k-ближайшими соседями для обнаружения выборок OOD. Мы показываем, что этот простой и гибкий метод эффективно обнаруживает входные данные OOD в широкой категории аудио (и речевых) наборов данных. В частности, он снижает частоту ложноположительных результатов (FPR@TPR95) на 17 % и показатель AUROC на 7 % по сравнению с другими предыдущими методами.
2. Поддается ли обучению обнаружение отсутствия распространения?(arXiv)
Автор:Чжэнь Фан, Исюань Ли, Цзе Лу, Цзяхуа Дун, Бо Хань, Фэн Лю
Вывод:обучение с учителем направлено на обучение классификатора в предположении, что обучающие и тестовые данные взяты из одного и того же распределения. Чтобы ослабить вышеприведенное предположение, исследователи изучили более реалистичную настройку: обнаружение вне распределения (OOD), когда тестовые данные могут поступать из классов, которые неизвестны во время обучения (т. е. данные OOD). Из-за недоступности и разнообразия данных OOD хорошая способность к обобщению имеет решающее значение для эффективных алгоритмов обнаружения OOD. Чтобы изучить обобщение обнаружения OOD, в этой статье мы исследуем вероятно приблизительно правильную (PAC) теорию обучения обнаружения OOD, которая предлагается исследователями как открытая проблема. Во-первых, мы находим необходимое условие обучаемости обнаружения OOD. Затем, используя это условие, мы доказываем несколько теорем невозможности обучаемости обнаружения ООП при некоторых сценариях. Хотя теоремы о невозможности разочаровывают, мы обнаруживаем, что некоторые условия этих теорем о невозможности могут не выполняться в некоторых практических сценариях. Основываясь на этом наблюдении, мы далее даем несколько необходимых и достаточных условий, чтобы охарактеризовать обучаемость обнаружения OOD в некоторых практических сценариях. Наконец, мы также предлагаем теоретическую поддержку для нескольких репрезентативных работ по обнаружению OOD, основанных на нашей теории OOD.
3. Целостное встраивание предложений для лучшего обнаружения отсутствия распространения(arXiv)
Автор:Сышуо Чен, Сяохань Би, Рундун Гао, Сюй Сун
Вывод: Обнаружение экземпляров вне распространения (OOD) важно для безопасного развертывания моделей NLP. Среди недавних работ по обнаружению текстовых OOD, основанных на предварительно обученных языковых моделях (PLM), методы на основе расстояния показали превосходную производительность. Однако они оценивают показатели расстояния выборки в пространстве встраивания CLS последнего уровня и, таким образом, не в полной мере используют лингвистическую информацию, лежащую в основе PLM. Чтобы решить эту проблему, мы предлагаем улучшить обнаружение OOD путем получения более целостных вложений предложений. Основываясь на наблюдениях, что усреднение токенов и комбинация слоев способствуют улучшению обнаружения OOD, мы предлагаем простой подход к встраиванию под названием Avg-Avg, который усредняет все представления токенов из каждого промежуточного слоя по мере встраивания предложения и значительно превосходит состояние the-art по комплексному набору тестов с маржой 9,33% FAR95. Кроме того, наш анализ показывает, что это действительно помогает сохранить общие лингвистические знания в точно настроенных PLM и значительно улучшает обнаружение фоновых сдвигов. Простой, но эффективный метод встраивания может быть применен к точно настроенным PLM с незначительными дополнительными затратами, обеспечивая свободный выигрыш в обнаружении OOD. Наш код доступен по адресу https://github.com/lancopku/Avg-Avg.
