Теорема Байеса, старая, но золотая!

Ему более двух веков, но он стал наиболее часто используемым алгоритмом машинного обучения.

Теорема Байеса позволяет любому обманчиво простым способом вычислить условную вероятность того, что интуиция часто терпит неудачу. Вы могли столкнуться с этой теоремой в машинном обучении, имея дело с Maximum a Posteriori (MAP) - вероятностной структурой для подгонки модели к обучающему набору данных - или в задачах прогнозного моделирования классификации, таких как Оптимальный классификатор Байеса и Наивный байесовский классификатор.

История теоремы Байеса

Преподобный Томас Байес был богатым пресвитерианским священником и математиком-любителем, жившим в Лондоне в восемнадцатом веке. Не осознавая этого, преподобный создал совершенно новую религию, которая на протяжении десятилетий оказывала влияние на множество областей обучения. Европа жила в эпоху религиозных противоречий. Ученые пытались использовать доказательства вокруг нас, чтобы прийти к рациональным выводам о Боге.

Неизвестно, хотел ли Байес доказать существование Бога, но исторически доказано, что Байес хотел математически решить проблему причины и следствия, которая завершилась его теоремой.

Байес не поверил своей теореме настолько, чтобы опубликовать ее ...

Поэтому он хранит свои наблюдения и заключения в архивах и умирает через 10–15 лет. Ричард Прайс, друг Байеса, а также пресвитерианский священник и математик-любитель, просматривает такие архивы и находит эту теорему. В отличие от Байеса, Прайс был более известным священником, и он решает, что теорема поможет доказать существование Бога. Он публикует исследование Байеса, но оно не привлекает ожидаемого внимания, поскольку оно было опубликовано в журнале, читатели которого не были в основном математиками, и поэтому этой теме уделялось мало внимания.

В 1774 году, когда прошло почти 100 лет с тех пор, как Байес создал свою теорему, молодой человек 25 лет Пьер-Симон де Лаплас открыл эту теорему и назвал ее Вероятность причин. В отличие от Байеса, Лаплас до сих пор является одним из самых известных математиков в мире и провел 25 лет своей жизни, преобразовывая правило Байеса в математическое уравнение, которое мы знаем сегодня.

Правило Байеса

Как уже говорилось, теорема Байеса - это математическое правило для определения условной вероятности, которая представляет собой вероятность наступления результата на основе предыдущего результата.

Давайте проверим слагаемые, составляющие уравнение ...

  • P (A | B) - апостериорная вероятность. Вероятность наступления A при знании доказательства B
  • P (A) - априорная вероятность
  • P (B | A) - вероятность
  • P (B) - доказательства
  • Таким образом, Posterior = Likelihood * Prior / Evidence

Давайте рассмотрим следующее ... Вы хотите отговорить свою возлюбленную на пикник. Вы проверили прогноз погоды, и в нем сообщается, что солнечный день. Однако, когда смотришь в окно, видны грозные тучи… Пойдет ли дождь и испортит пикник?

Давайте попробуем использовать теорему Байеса, чтобы выяснить…

Итак, что мы знаем о пасмурных днях?

  • 50% всех дождливых дней начинаются облачно!
  • 40% дней начинаются облачно
  • 10% дней в июле - дождливые

Следовательно, какова вероятность того, что днем ​​будет дождь, если у нас пасмурное утро? Принимая уравнение теоремы Байеса:

P (Rain | Cloud) = (P(Rain) * P(Cloud|Rain)) / P(Cloud)

  • P (дождь) - вероятность дождя в июле = 10%.
  • P (Облако | Дождь) - вероятность пасмурного дня, если известно, что день начался облачно = 50%.
  • P (Облако) - вероятность того, что день начнется облачно = 40%.

P(Rain|Cloud) = 0.1 x 0.50.4 = .125

Вероятность дождя составляет всего 12,5%! Итак, рискнем и отправимся на пикник!

«По сути, теорема Байеса - это всего лишь простое правило для обновления вашей степени веры в гипотезу, когда вы получаете новое свидетельство: если свидетельство согласуется с гипотезой, вероятность гипотезы возрастает, если нет - понижается». - Педро Домингос, мастер-алгоритм

Известные приложения

Есть несколько очень интересных приложений теоремы Байеса, и теперь, с ростом вычислительной мощности, нет предела!

  • С.С. Корабль золота Центральной Америки

3 сентября 1857 года SS Central America отплыл из порта Колон в Панаме по пути в Нью-Йорк. Корабль везет золото на миллионы долларов. Почти неделю в море корабль попадает в шторм, который в конечном итоге перерастает в ураган, который уничтожит корабль и оставит сокровище, обреченное на дно океана.

В 80-х Томми Томпсон и Ларри Стоун использовали теорему Байеса, чтобы математически объединить несколько свидетельств о местонахождении артефактов, и провели компьютерное моделирование, чтобы попытаться определить наиболее вероятное место кораблекрушения. В конце концов они создали сеточную карту, которая покрывала 1400 квадратных миль океана. Обладая этой информацией, они нашли клад. [3]

  • Алан Тьюринг и Enigma

Все мы знаем историю того, как Алан Тьюринг взломал нацистскую машину Enigma, позволил союзникам расшифровать важные зашифрованные сообщения и спасти миллионы жизней. История Алана Тьюринга увековечена в награждении Оскаром в 2014 году за лучший сценарий, адаптированный сценарий и игру в имитацию.

Немцы использовали Enigma для отправки сотен сообщений, и из-за того, что код дешифрования менялся каждый день, расшифровать почти бесконечное количество возможных переводов стало практически невозможно. Важнейшее байесовское понимание Тьюринга заключалось в том, что одни сообщения были гораздо более вероятными, чем другие. Фраза «Хайль Гитлер» помогла им взломать код, поскольку каждое сообщение всегда заканчивалось нацистским приветствием.

Теория, которая не умрет

Чтобы узнать больше об эволюции теоремы Байеса и о том, как она помогла многим людям решить важные проблемы и изменить мир, прочтите Теорию, которая просто не умрет, написанная Шэрон МакГрейн.

Если вам понравилось, подписывайтесь на меня, чтобы увидеть больше публикаций, и не забывайте, пожалуйста, аплодируйте!

использованная литература

[1] Теория, которая не умрет | Шэрон Бертч МакГрейн | Разговоры в Googl e

[2] Правило Байеса на простом и практичном примере.
Тиртхаджоти Саркар

[3] https://the-gist.org/2016/09/man-vs-maths-and-a-ship-filled-with-gold/