Конспект лекций FAU по распознаванию образов
Гауссианы, их пересечения и логистическая функция
Пример того, как вычислить границы решения из пересечения функций плотности вероятности
Это конспекты лекции FAU на YouTube Распознавание образов. Это полная стенограмма видео лекции и соответствующие слайды. Исходники слайдов доступны здесь. Надеемся, вам понравится это не меньше, чем видео. Эта стенограмма была почти полностью сгенерирована машиной с использованием AutoBlog, и в нее были внесены лишь незначительные изменения вручную. Если вы заметили ошибки, сообщите нам об этом!
Навигация
Предыдущая глава / Посмотреть это видео / Следующая глава / Верхний уровень
С возвращением в раздел "Распознавание образов"! Сегодня мы хотим продолжить разговор о логистической функции. Сегодняшний план состоит в том, чтобы изучить пример использования логистической функции с функцией плотности вероятности.
Итак, это граница нашего решения, которую можно смоделировать с помощью логистической функции. Допустим, наша решающая граница δ (x) равна нулю, так что это набор нулевого уровня. Теперь мы видим, что набор нулевого уровня может быть связан с логистической функцией. Таким образом, точки на границе решения будут точно удовлетворять тому, что две вероятности, то есть вероятность класса 0 и вероятность класса 1, равны. Итак, это точка равновесия. И это, по сути, место, где мы не можем решить, тот ли это класс или другой. Оба они одинаково вероятны. Затем мы можем переставить дробь двух следующим образом: мы применяем логарифм к дроби двух апостериорных, и тогда получается логарифм 1. И логарифм 1 должен быть равен нулю.
Теперь мы можем утверждать, что граница решения задается формулой F (x) = 0. Давайте посмотрим на доказательство. Здесь вы можете видеть, что мы применяем логарифм к нашим апостериорным вероятностям. Предполагается, что это F (x) = 0. Тогда мы, конечно, можем применить е к мощности. Это приведет к отмене логарифма в левой части, и мы получим eᶠ⁽ˣ⁾ в правой части. Кроме того, теперь мы можем изменить порядок на p (y = 0 | x). Так что это на самом деле вероятность для нашего класса 0. И мы видим, что это может быть выражено соответствующим термином здесь в правой части.
Теперь вероятность того, что y равна 1, может быть выражена в нашем случае также с вероятностью 1 минус вероятность того, что y равна 0 при заданном x. Это небольшая модификация. И теперь мы видим, что у нас есть 2 раза p (y = 0 | x). Мы действительно можем это изменить. Это дает нам следующее решение. Теперь вы видите, что мы уже довольно близко подошли к нашей логистической функции. И мы можем изменить это, просто разделив все на eF (x). И тогда вы видите, что остается только 1 на 1 плюс e-F (x). Это не что иное, как наша логистическая функция.
Давайте посмотрим на несколько примеров с использованием функции плотности вероятности. Здесь вы видите, что вероятность того, что x при y равна нулю. Конечно, здесь мы также можем найти вероятность для противоположного класса. Вы видите, что у нас есть два гауссиана. У гауссианцев просто одинаковое стандартное отклонение, а средние значения различаются. Теперь мы также можем найти апостериорные вероятности. Итак, вы видите, что вероятность для y, равного 0, при данном x обозначена здесь этой пунктирной линией, а для противоположного класса мы можем найти ее как эту пунктирную линию.
А теперь давайте рассмотрим пример. Здесь наш пример - многомерный гауссиан, которому задана эта вероятность. Итак, мы видим, что это стандарт, в котором мы вводим ковариационную матрицу, которая задается как Σ, и средний вектор μ. Теперь мы хотим показать ниже, что вся приведенная выше формулировка, конечно, также может быть переписана в апостериорную вероятность. Итак, здесь мы хотим найти логистическую функцию. Таким образом, эта логистическая функция должна быть выражена в правом члене. И здесь вы видите, что у нас, по сути, есть квадратичная функция по x. Эта квадратичная функция может точно описывать апостериорную вероятность, если у нас есть две разные гауссовские функции. Теперь попробуем найти решение. Что нас интересует, так это нахождение решающей границы F (x). И снова мы используем трюк, который хотим переписать в терминах генеративных вероятностей. Итак, мы записываем это здесь как априорное значение, умноженное на вероятность x для соответствующих классов, и помещаем это в своего рода дробь.
Если мы это сделаем, мы подключим определение гауссиана. И вы можете видеть, что мы сделали это на слайде. Таким образом, у нас есть доля априорных и гауссовская. Вы видите, что у нас есть μ₀, и у нас есть некоторая ковариация Σ₀, а также некоторые μ₁ и Σ₁ для второго класса. Что мы уже можем понять, если посмотрим на этот термин, так это то, что есть довольно много вещей, которые не зависят от x. Итак, мы можем вывести пару вещей из приведенного выше уравнения. Все вещи, которые не зависят от x, по сути являются априорными и снова масштабирующими переменными перед распределением Гаусса. Вы можете видеть здесь, что, по сути, ковариационные матрицы и априорные значения дают нам постоянный компонент, который является своего рода смещением. Итак, мы видим, что априорные значения подразумевают постоянное смещение к границе решения. И если априорные значения и ковариационная матрица обоих классов идентичны, вы видите, что это смещение просто 0. Итак, если у нас в два раза больше одинаковой априорной вероятности, то первый член в c будет сокращаться и будет равен 0, потому что дробь здесь будет будет 1. То же самое будет верно и для второй части, где также дробь будет 1, а затем логарифм 1 будет 0. Так что это тоже интересное наблюдение.
Что еще? Что ж, мы также можем изучить оставшуюся часть, которая зависит от x. Часть, зависящую от x, мы также можем немного переформулировать, потому что логарифм может использоваться, чтобы избавиться от экспоненциальных функций. И если мы это сделаем, мы сможем переписать это по существу в те термины, которые вы видите здесь. По сути, это термины, которые используются в гауссиане в экспоненте. Теперь вы видите, что это своего рода квадратичные члены, которые обходят ковариационные матрицы. Мы можем немного переформулировать это, умножив все члены. Вы видите, что мы можем найти описание, в котором есть квадратичный член. Затем у нас есть линейный член, и у нас есть член, который является просто константой, которая больше не зависит от x.
Теперь мы можем изменить это и сопоставить с нашим исходным определением, которое мы хотели использовать для границы нашего решения. Это дает нам матрицу A, которая построена из двух ковариационных матриц. Тогда у нас есть этот вектор αᵀ. αᵀ строится из средних, умноженных на матрицы обратной ковариации. И у нас есть некоторый α₀, который по существу состоит из постоянного члена c, который мы видели ранее, плюс дополнительный постоянный член, который мы вывели на предыдущем слайде. Так что очень приятно, что мы всегда можем найти решающую границу существенного пересечения двух гауссианов как квадратичную задачу такого типа.
А теперь давайте посмотрим на пару примеров. Итак, у нас есть две разные гауссовские функции. У нас есть синий и зеленый. Вы видите, что в этой конфигурации они имеют одинаковую априорность. Здесь же эллипсами обозначены ковариационные матрицы.
А теперь мы можем взглянуть на границу решения, которая выглядит следующим образом. Теперь можно немного поиграться с приорами. Если мы увеличим априор, то вы увидите, что наша граница принятия решения по существу немного сдвинется. Так что это постоянный фактор, о котором мы уже говорили ранее. Также обратите внимание, что это квадратичная функция, которая по существу пересекает нашу плоскость наблюдения.
Это также может означать, что наша квадратичная функция возвращается с другой стороны. Так что вы можете быть весьма удивлены этим наблюдением, но, конечно, это можно объяснить.
У нас есть квадратичные многочлены от переменных x₁ и x₂. По сути, это коническое сечение, и мы можем выразить его как круги или эллипсы, но это также может привести к параболам. И если у вас есть определенные конфигурации, вы также можете наблюдать гиперболы, как мы видели в предыдущем случае. Таким образом, мы можем описать границу решения и найти решение в замкнутой форме для пересечения двух различных гауссовских распределений.
Также обратите внимание, что здесь мы также можем построить апостериорные вероятности. И вы видите, что они по существу расположены вокруг набора нулевого уровня. Итак, вы видите, что эти апостериорные вероятности очень быстро насыщаются в примере, который мы видели здесь. Поэтому, если вы попытаетесь использовать апостериорные вероятности как своего рода меру уверенности для своего решения, вы можете понять, что уже если вы немного отошли от границы своего решения, то вы совершенно уверены, что находитесь на правильной стороне Граница решения. И, конечно же, таким образом мы можем визуализировать апостериорную вероятность в виде поверхностного графика для данного примера.
Итак, это подводит нас уже к концу этого видео. В следующий раз мы хотим изучить случаи, когда речь идет не только о гауссовском распределении вероятностей. Мы также хотим изучить другие случаи и выяснить, можем ли мы использовать этот трюк с логистической функцией и там. Надеюсь, вам понравилось это небольшое видео, и было бы очень приятно снова увидеть вас в следующем! Большое спасибо за просмотр и до свидания.
Если вам понравился этот пост, вы можете найти больше эссе здесь, больше образовательных материалов по машинному обучению здесь или взглянуть на нашу Лекцию Глубокое обучение. Я также был бы признателен за подписку на YouTube, Twitter, Facebook или LinkedIn, если вы хотите получать информацию о новых эссе, видео и исследованиях в будущем. Эта статья выпущена под лицензией Creative Commons 4.0 Attribution License и может быть перепечатана и изменена при наличии ссылки. Если вас интересует создание стенограмм видеолекций, попробуйте Автоблог.
Ссылки
Т. Хасти, Р. Тибширани и Дж. Фридман: Элементы статистического обучения - интеллектуальный анализ данных, вывод и прогнозирование, 2-е издание, Спрингер, Нью-Йорк, 2009.
Дэвид В. Хосмер, Стэнли Лемешоу: прикладная логистическая регрессия, 2-е издание, John Wiley & Sons, Хобокен, 2000.
