- Ускорение Langevin Dynamics путем микширования (arXiv)
Автор: Александр Кристи, Юаньюань Фэн, Гаутам Айер, Алексей Новиков.
Аннотация: Мы изучаем переддемпфированное уравнение Ланжевена на d-мерном торе со стационарным распределением, пропорциональным p=e−U/κ. Когда U имеет несколько лунок, время смешивания связанного процесса экспоненциально велико (размера eO (1 / κ)). Добавим дрейф в динамику Ланжевена (без изменения стационарного распределения) и получим количественные оценки времени перемешивания. Мы показываем, что дрейф экспоненциального перемешивания можно масштабировать так, чтобы время перемешивания системы Ланжевена было сколь угодно малым. Для численных целей полезно сохранять размер наложенного дрейфа небольшим, и мы показываем, что наименьшее допустимое масштабирование гарантирует, что время смешивания составляет O(d/κ3), что на порядок меньше, чем eO(1/ к). Мы приводим одну конструкцию экспоненциально перемешивающего дрейфа, хотя и с константами скорости, κ-зависимость которых неизвестна. Эвристика (из дискретного времени) предполагает, что κ-зависимость скорости смешивания такова, что введенный дрейф имеет размер O(d/κ3). Большая амплитуда наложенного дрейфа увеличивает вычислительную сложность, и поэтому мы ожидаем, что этот метод будет наиболее полезен на начальном этапе методов Монте-Карло для быстрого исследования пространства состояний.
2. Вариационные принципы зеркального спуска и зеркальной динамики Ланжевена (arXiv)
Автор: Белинда Цен, Анант Рай, Максим Рагинский, Фрэнсис Бах.
Аннотация: Зеркальный спуск, введенный Немировским и Юдиным в 1970-х годах, представляет собой прямо-двойственный метод выпуклой оптимизации, который можно адаптировать к геометрии рассматриваемой задачи оптимизации посредством выбора сильно выпуклой потенциальной функции. Он возникает как базовый примитив в различных приложениях, включая крупномасштабную оптимизацию, машинное обучение и управление. В данной статье предлагается вариационная формулировка зеркального спуска и его стохастического варианта — зеркальной динамики Ланжевена. Основная идея, вдохновленная классической работой Брезиса и Экланда о вариационных принципах для градиентных течений, состоит в том, чтобы показать, что зеркальный спуск возникает как решение с обратной связью для некоторой задачи оптимального управления, а функция значения Беллмана задается функцией Брегмана. расхождение между начальным условием и глобальным минимумом целевой функции
