Обзор

Задача этого резюме состоит в том, чтобы объяснить сложную статью простым способом, с

  • требуется сверхминимальная математика (в данном случае это довольно сложно)
  • многоуровневая структура, поэтому читатель может открывать все больше и больше деталей по своему усмотрению

Оригинал статьи: https://arxiv.org/abs/1810.05558?fbclid=IwAR2Irobgi5jW_RVJL4iRyv0QS_WfmgzKk-KmyoeXSZf3X26eFkz8gaTRxk4



Вариационный байесовский метод Монте-Карло
Многие вероятностные модели, представляющие интерес для научных вычислений и машинного обучения, имеют дорогостоящий черный ящик…arxiv.org



TL;DR

  • Выполнение Байесовского вывода имеет множество очень важных практических применений.
  • Это означает оценку вычисления апостериорной вероятности и предельного правдоподобия или доказательства.
  • К сожалению, это неразрешимо вообще, поэтому необходимо вычислить аппроксимации для обоих
  • В целом существует 2 подхода: вариационные методы и методы Монте-Карло, основанные на компромиссе между знанием функции (доступ к производным) или эффективностью выборки.
  • Эффективность сэмплирования — это ключевая функция, позволяющая сделать это на практике.
  • MCMC — это стандартный инструмент для байесовского вывода, но он не очень эффективен.
  • Эта статья представляет VBMC как новый эффективный инструмент байесовского вывода с выборкой.

Некоторые детали (уровень 1)

Проблема

Допустим, у нас есть параметрическая модель, и с учетом набора данных мы хотим оценить функцию плотности вероятности (PDF) каждого из ее параметров.

В этом случае у нас есть \Theta как полное пространство параметров

Эта проблема теоретически смоделирована в байесовской структуре, и ее решение состоит в выполнении байесовского вывода, для которого существуют некоторые инструменты, такие как MCMC, однако есть некоторые проблемы, ограничивающие его прямое использование на практике, в основном связанные с вероятностью

Вероятность

В общем, давайте рассмотрим вероятность модели как сложную функцию «черного ящика» (например, представьте, что это большая нейронная сеть).

Таким образом, единственный способ узнать что-то об этом — это попробовать (например, черный ящик, предоставить входные данные и наблюдать за выходом).

В идеале с неограниченным бюджетом оценки мы могли бы реконструировать эту функцию с произвольной точностью, однако на практике бюджет оценки ограничен по сравнению со сложностью правдоподобия, поэтому его необходимо аппроксимировать с использованием примеров эффективных методов аппроксимации

Реалистичные вероятности сложны:

  • высокий размерный
  • Мультимодальный (много мин. и макс.)
  • Тяжелые хвосты (экстремальные события)
  • Коррелированные параметры

Инструменты

  • Вариационный подход
  • Активный сэмпл
  • Гауссовский процесс

Вариативный подход — основная идея

Замените сложную истинную апостериорную вероятность на более простую PDF, называемую вариационной апостериорной, подгоняя ее параметры в рамках минимизации несходства, используя надлежащую меру подобия PDF (например, расстояние KL).

Вариационный вывод выполняется с помощью оптимизации, и его решение дает 2 результата.

  • апостериорное приближение
  • приближение доказательств (ELBO)

Активная выборка

Состоит из наличия алгоритма для разумного выбора того, как выбрать неизвестную функцию (вероятность), чтобы максимизировать некоторые критерии при подгонке бюджета выборки.

С точки зрения математики алгоритм по существу состоит из решения конкретной задачи оптимизации, нацеленной на функцию сбора данных: функцию, которая связывает выборку с выбранными критериями (например, минимизация апостериорной дисперсии).

Подробнее (уровень 2)

ЭЛБО

Нижняя граница свидетельства (ELBO) имеет красивое название, говорящее само за себя: это нижняя граница истинного свидетельства (на байесовском жаргоне это знаменатель байесовской формулы).

Истинное свидетельство определяется как сумма расхождений ELBO и KL между Истинным и Вариационным апостериором, поэтому в результате того факта, что KL всегда неотрицательна по построению, мы имеем, что

  • ELBO — нижняя граница доказательства
  • чем больше апостериорная вариация похожа на истинную, тем лучше аппроксимация ELBO для доказательства

Вариационный подход в физике

Вариационный подход использовался в различных разделах физики, таких как статистическая механика, для выполнения аналитических вычислений апостериорных значений.

Чтобы сделать задачу аппроксимации поддающейся аналитическому рассмотрению, уловка заключается в выборе апостериорной вариации: например. при выборе факторизованной функции логарифмирование приводит к сумме, что может привести к решениям в закрытой форме

Это, конечно, происходит за счет расхождения KL (его значение настолько велико, насколько это простое приближение отличается от истинного).

Работа в процессе (скоро будут новые обновления)