- Унифицированный анализ увеличения данных смешанной выборки: перспектива функции потерь (arXiv)
Автор: Чанву Пак, Санду Юн, Сангхюк Чун
Аннотация: мы предлагаем первый унифицированный теоретический анализ аугментации данных смешанной выборки (MSDA), такой как Mixup и CutMix. Наши теоретические результаты показывают, что независимо от выбора стратегии микширования MSDA ведет себя как регуляризация на уровне пикселей основных потерь при обучении и регуляризация параметров первого слоя. Точно так же наши теоретические результаты подтверждают, что стратегия обучения MSDA может улучшить устойчивость к состязательным действиям и обобщение по сравнению со стандартной стратегией обучения. Используя теоретические результаты, мы обеспечиваем общее понимание того, как различные варианты дизайна MSDA работают по-разному. Например, мы показываем, что самые популярные методы MSDA, Mixup и CutMix, ведут себя по-разному, например, CutMix упорядочивает входные градиенты по расстоянию между пикселями, а Mixup упорядочивает входные градиенты независимо от расстояния между пикселями. Наши теоретические результаты также показывают, что оптимальная стратегия MSDA зависит от задач, наборов данных или параметров модели. Исходя из этих наблюдений, мы предлагаем обобщенные MSDA, гибридную версию Mixup и CutMix (HMix) и Gaussian Mixup (GMix), простые расширения Mixup и CutMix. Наша реализация может использовать преимущества Mixup и CutMix, в то время как наша реализация очень эффективна, а стоимость вычислений почти незначительна, как Mixup и CutMix. Наше эмпирическое исследование показывает, что наши HMix и GMix превосходят предыдущие современные методы MSDA в задачах классификации CIFAR-100 и ImageNet. Исходный код доступен по адресу https://github.com/naver-ai/hmix-gmix.
2.Функция топологических потерь: шумоподавление изображения в наборе данных при слабом освещении(arXiv)
Автор :Александра Малюгина, Нантира Анантрасиричай, Дэвид Булл
Аннотация: Хотя алгоритмы шумоподавления изображений привлекли значительное внимание исследователей, на удивление лишь немногие из них были предложены или оценены для устранения шума на изображениях, полученных в реальных условиях низкой освещенности. Кроме того, шумовые характеристики часто считаются пространственно инвариантными, что приводит к искажению краев и текстур после шумоподавления. Здесь мы вводим новую топологическую функцию потерь, основанную на постоянной гомологии. Метод работает в пространстве фрагментов изображения, где вычисляются топологические инварианты и представляются в персистентных диаграммах. Функция потерь представляет собой комбинацию потерь ℓ1 или ℓ2 с новыми топологическими потерями, основанными на постоянстве. Мы сравниваем его производительность с популярными архитектурами шумоподавления, обучая сети на нашем новом всеобъемлющем наборе данных о естественных изображениях, снятых в условиях низкой освещенности — BVI-LOWLIGHT. Анализ показывает, что этот подход превосходит существующие методы, хорошо адаптируясь к сложным структурам и подавляя распространенные артефакты.
3. Статистические свойства функции потерь log-cosh, используемой в машинном обучении(arXiv)
Автор:Ресве А. Салех, А. К. Мд. Эхсанес Салех
Аннотация . В этой статье анализируется популярная функция потерь, используемая в машинном обучении, которая называется функцией потерь логарифмического типа. Был опубликован ряд статей с использованием этой функции потерь, но до настоящего времени в литературе не было представлено статистического анализа. В этой статье мы представляем функцию распределения, из которой возникают логарифмические потери. Мы сравниваем его с аналогичным распределением, называемым распределением Коши, и проводим различные статистические процедуры, характеризующие его свойства. В частности, мы исследуем связанные с ним PDF, CDF, функцию правдоподобия и информацию Фишера. Параллельно мы рассматриваем распределения Коши и Коша, а также MLE параметра местоположения с асимптотическим смещением, асимптотическим отклонением и доверительными интервалами. Мы также приводим сравнение надежных оценок из нескольких других функций потерь, включая функцию потерь Хубера и функцию ранговой дисперсии. Далее мы исследуем использование функции log-cosh для квантильной регрессии. В частности, мы идентифицируем функцию распределения квантилей, из которой можно получить оценку максимального правдоподобия для регрессии квантилей. Наконец, мы сравниваем квантильную М-оценку, основанную на логарифмической кош с устойчивой монотонностью, с другим подходом к квантильной регрессии, основанным на сверточном сглаживании.
