Вступление

«Общим методом поиска оценок максимального правдоподобия в моделях со скрытыми переменными является алгоритм максимизации ожидания (EM)».

- Распознавание образов и машинное обучение, 2006.

Это довольно короткое определение, которое мне нравится в EM - алгоритмах из книги Кристофера Бишопа, поэтому, если вы поняли это определение, этот пост не для вас, цель этого поста - дать базовое концептуальное понимание для начинающих. алгоритм ожидания-максимизации и концепции, которые с ним взаимодействуют. К концу этого поста вы найдете довольно хороший пример из курса, в котором я участвовал некоторое время назад.

Некоторые концепции, прежде чем углубиться…

  • Распределение вероятностей
  • Оценка максимального правдоподобия
  • Совместное распределение вероятностей
  • Скрытые переменные
  • Функция правдоподобия

Некоторые концепции

Распределение вероятности

Распределение вероятностей - это функция, которая описывает вероятность получения возможных значений, которые может принимать случайная величина.

Оценка максимального правдоподобия

Оценка максимального правдоподобия - это подход к оценке плотности для набора данных путем поиска по распределениям вероятностей и их параметрам.

Скрытая переменная

Скрытые переменные - это переменные, которые не наблюдаются напрямую, а скорее выводятся (с помощью математической модели) из других переменных.

Совместное распределение вероятностей

Во-первых, предположим, что группа переменных и конкретный или дискретный набор возможных значений для каждой переменной.

Совместное распределение вероятностей дает вероятность для каждой переменной попасть в любое из определенных значений переменной.

Функция правдоподобия

Функция правдоподобия измеряет, насколько хорошо подходит статистическая модель для данных выборки.

Данные, передаваемые функции, являются значениями неизвестных параметров.

Данные формируются из совместного распределения вероятностей выборки, используемой как функция параметров.

Алгоритм

  1. Учитывая набор неполных данных, рассмотрите набор начальных параметров.
  2. Шаг ожидания (шаг E): Используя наблюдаемые доступные данные набора данных, оцените (угадывайте) значения отсутствующих данных.
  3. Шаг максимизации (M - шаг): полные данные, созданные после шага ожидания (E), используются для обновления параметров.
  4. Повторяйте шаг 2 и шаг 3 до схождения.

Алгоритм ожидания-максимизации заключается в использовании имеющихся наблюдаемых данных набора данных для оценки недостающих данных и последующего использования этих данных для обновления значений параметров.

Легко, правда? Ниже объяснение чуть более детального алгоритма

  • Рассматривается набор начальных значений параметров. Набор неполных наблюдаемых данных передается в систему с предположением, что наблюдаемые данные получены из конкретной модели.
  • Шаг «Ожидание»: шаг или E-шаг. На этом этапе мы используем наблюдаемые данные, чтобы оценить или угадать значения недостающих или неполных данных. Он используется для обновления переменных.
  • Шаг «Максимизация»: шаг или M-шаг. На этом шаге мы используем полные данные, сгенерированные на предыдущем шаге «Ожидание», чтобы обновить значения параметров. В основном это используется для обновления гипотезы.
  • Проверка сходимости: проверяется, сходятся ли значения, если да, то остановитесь, в противном случае повторяйте step-2 и step-3 до тех пор, пока не произойдет схождение.

Использование алгоритма EM

  • Полезно для заполнения недостающих данных в образце.
  • Используется в качестве основы для обучения кластеров без учителя.
  • Его можно использовать для оценки параметров скрытой марковской модели (HMM) или подобного.
  • Его можно использовать для обнаружения значений скрытых переменных.

Преимущества алгоритма EM

  • Всегда гарантируется, что вероятность будет увеличиваться с каждой итерацией.
  • E-step и M-step часто довольно просты для решения многих задач с точки зрения реализации.
  • Решения M-шагов часто существуют в замкнутой форме.

Недостатки алгоритма EM

  • Имеет медленную сходимость.
  • Он обеспечивает сходимость только к локальным оптимумам.

Применение алгоритма EM: визуализация черной дыры

Следующие слайды мне показались классными, поэтому я хочу поделиться ими здесь, потому что они связаны с темой.

Я получил следующие слайды из курса, который я прошел некоторое время назад, это не моя собственная работа или в него были внесены какие-либо изменения

Спасибо за чтение.

Https://cardona.dev/em-algorithm/