- Доказуемые гарантии гладкости для вариационного вывода черного ящика (arXiv)
Автор : Джастин Домке
Аннотация: Вариационный вывод методом черного ящика пытается аппроксимировать сложное целевое распределение посредством градиентной оптимизации параметров более простого распределения. Доказуемые гарантии сходимости требуют структурных свойств цели. В этой статье показано, что для аппроксимаций семейства масштабов местоположения, если цель является M-липшицево гладкой, то такой же является и цель, если исключить энтропию. Ключевая идея доказательства состоит в том, чтобы описать градиенты в некотором пространстве внутреннего произведения, что позволяет использовать неравенство Бесселя. Этот результат дает представление о том, как параметризовать распределения, дает границы для расположения оптимальных параметров и является ключевым компонентом гарантий сходимости.
2. Повышение вариационного вывода черного ящика (arXiv)
Автор: Франческо Локателло, Гидеон Дрезднер, Раджив Кханна, Изабель Валера, Гуннар Ратч.
Аннотация: Аппроксимация плотности вероятности удобным способом является центральной задачей байесовской статистики. Вариационный вывод (VI) — это популярный метод, который обеспечивает управляемость за счет выбора относительно простого вариационного семейства. Заимствуя идеи из классического бустинга, последние подходы пытаются \emph{повышать} VI, заменяя выбор одной плотности жадно сконструированной смесью плотностей. Чтобы гарантировать сходимость, предыдущие работы налагают строгие допущения, требующие от практиков значительных усилий. В частности, они требуют пользовательской реализации жадного шага (называемого LMO) для каждой вероятностной модели в отношении неестественного вариационного семейства усеченных распределений. Наша работа решает эти проблемы с помощью новых теоретических и алгоритмических идей. С теоретической точки зрения мы показываем, что усиление VI удовлетворяет предположению о смягченной гладкости, которое достаточно для сходимости функционального алгоритма Франка-Вольфа (ФВ). Кроме того, мы перефразируем проблему LMO и предлагаем максимизировать остаточный ELBO (RELBO), который заменяет стандартную оптимизацию ELBO в VI. Эти теоретические усовершенствования позволяют реализовать подпрограмму бустинга в виде черного ящика. Наконец, мы представляем критерий остановки, полученный из пробела двойственности в классическом анализе FW и исчерпывающих экспериментах, чтобы проиллюстрировать полезность нашего теоретического и алгоритмического вклада.
