- Нейронные операторы вариационного автокодирования (arXiv)
Автор: Джейкоб Х. Сейдман, Джорджиос Киссас, Джордж Дж. Паппас, Пэрис Пердикарис.
Аннотация: Неконтролируемое обучение с функциональными данными — это новая парадигма исследований в области машинного обучения с приложениями к компьютерному зрению, моделированию климата и физическим системам. Естественным способом моделирования функциональных данных является изучение операторов между бесконечномерными пространствами, что приводит к инвариантным к дискретизации представлениям, которые масштабируются независимо от разрешения сетки выборки. Здесь мы представляем нейронные операторы вариационного автокодирования (VANO), общую стратегию, позволяющую заставить большой класс архитектур обучения операторов действовать как вариационные автоэнкодеры. Для этой цели мы предлагаем новую строгую математическую формулировку вариационной цели в функциональных пространствах для обучения. VANO сначала сопоставляет входную функцию с распределением в скрытом пространстве с помощью параметрического кодировщика, а затем декодирует выборку из скрытого распределения для восстановления входных данных, как в классических вариационных автоэнкодерах. Мы тестируем VANO с различными настройками модели и выбором архитектуры для различных тестов. Мы начинаем с простого гауссовского случайного поля, где мы можем аналитически отслеживать, что изучает модель, и постепенно переходим к более сложным эталонным тестам, включая моделирование разделения фаз в системах Кана-Хиллиарда и спутниковые данные реального мира для измерения деформации поверхности Земли.
2. Анализ апостериорного коллапса в иерархических вариационных автоэнкодерах (arXiv)
Автор : Анна Кузина, Якуб М. Томчак
Аннотация: Иерархические вариационные автоэнкодеры (ВАЭ) являются одними из самых популярных генеративных моделей, основанных на правдоподобии. Скорее существует консенсус в отношении того, что нисходящие иерархические VAE позволяют эффективно изучать глубокие латентные структуры и избегать таких проблем, как задний коллапс. Здесь мы показываем, что это не обязательно так, и проблема схлопывания апостериоров остается. Чтобы предотвратить апостериорный коллапс, мы предлагаем новую глубокую иерархическую VAE с частично фиксированным кодировщиком, в частности, мы используем дискретное косинусное преобразование для получения верхних скрытых переменных. В серии экспериментов мы наблюдаем, что предлагаемая модификация позволяет добиться лучшего использования скрытого пространства. Кроме того, мы демонстрируем, что предложенный подход может быть полезен для сжатия и устойчивости к атакам со стороны противника.
