- Критические точки ++: гибкая мера важности облака точек для надежной классификации, состязательной защиты и объяснимого ИИ (arXiv)
Автор: Меир Йосеф Леви, Гай Гильбоа
Аннотация: Способность точно и быстро обрабатывать образцы вне распределения (OOD) имеет решающее значение в реальных приложениях, требующих безопасности. В этой работе мы сначала изучаем взаимодействие между критическими точками трехмерных облаков точек и образцами OOD. Наши выводы заключаются в том, что распространенные нарушения и выбросы часто интерпретируются как критические точки. Мы обобщаем понятие критических точек на меры важности. Мы показываем, что обучение сети классификации, основанное только на менее важных точках, значительно повышает надежность за счет незначительной потери производительности на чистом наборе. Мы видим, что нормализованная энтропия очень информативна для анализа коррупции. Для выбора набора некритических точек предложен адаптивный порог на основе нормированной энтропии. Предлагаемая нами мера важности вычисляется очень быстро. Мы показываем, что его можно использовать для различных приложений, таких как объяснимый ИИ (XAI), удаление выбросов, оценка неопределенности, робастная классификация и состязательная защита. Достигаем результатов SOTA по двум последним задачам
2. Распределительно надежная классификация по бюджету данных (arXiv)
Автор: Бенджамин Фойер, Амея Джоши, Мин Фам, Чинмей Хегде
Аннотация: Реальное использование глубокого обучения требует предсказуемого поведения модели при сдвигах распределения. Такие модели, как CLIP, демонстрируют возникающую естественную устойчивость распределения, сравнимую с человеческой, но могут потребовать сотни миллионов обучающих выборок. Можем ли мы обучать сильных учеников в области, где данные ограничены? Чтобы тщательно ответить на этот вопрос, мы представляем JANuS (Joint Annotations and Names Set), набор из четырех новых наборов обучающих данных с изображениями, метками и соответствующими подписями, а также проводим серию тщательно контролируемых исследований факторов, способствующих надежности классификации изображений. затем сравните эти результаты с результатами крупномасштабного метаанализа. Используя этот подход, мы показываем, что стандартный ResNet-50, обученный с учетом перекрестной энтропийной потери на 2,4 миллионах образцов изображений, может достичь сопоставимой надежности с CLIP ResNet-50, обученным на 400 миллионах образцов. Насколько нам известно, это первый результат, демонстрирующий (почти) современную надежность распределения при ограниченных объемах данных. Наш набор данных доступен по адресу \url{https://huggingface.co/datasets/penfever/JANuS_dataset}, а код, используемый для воспроизведения наших экспериментов, можно найти по адресу \url{https://github.com/penfever/vlhub/.
