Узнайте об одной из фундаментальных теорем вероятности на простом повседневном примере.

В этом сообщении предполагается, что у вас есть базовые знания о вероятности и статистике. Если вы этого не сделаете, не бойтесь, я собрал список лучших ресурсов, которые мог бы найти, чтобы познакомить вас с этими темами, чтобы вы могли прочитать этот пост, понять его и наслаждайтесь в полной мере.

В нем мы поговорим об одной из самых известных и используемых теорем теории вероятностей: Теорема Байеса. Никогда об этом не слышали? Тогда вас ждет угощение! Уже знаете, что это такое? Затем продолжайте читать, чтобы закрепить свои знания с помощью простого повседневного примера, чтобы вы тоже могли объяснить это простым языком другим.

В следующих сообщениях мы узнаем о некоторых упрощениях теоремы Бая, которые более практичны, а также о других вероятностных подходах к машинному обучению, таких как Скрытые марковские модели.

И наконец, прежде чем мы начнем, у вас есть несколько дополнительных ресурсов, которые помогут вам сделать карьеру в области машинного обучения:

Awesome Machine Learning Resources:
- For learning resources go to How to Learn Machine Learning! 
- For professional resources (jobs, events, skill tests) go to AIgents.co — A career community for Data Scientists & Machine Learning Engineers.

Пойдем!

Введение в вероятность:

В этом разделе я перечислил три очень хороших и кратких (два - в основном первые, третий - немного более обширный) источника для изучения основ вероятности того, что вы нужно понять этот пост. Не бойтесь, концепции очень простые, и, быстро прочитав, вы наверняка их поймете.

Если вы уже имеете представление об основной вероятности, можете пропустить этот раздел.

Хорошо, теперь вы готовы продолжить остальную часть сообщения. Сядьте поудобнее, расслабьтесь и наслаждайтесь.

Теорема Байеса:

Кем был Байес?

Томас Байес (1701–1761) был английским теологом и математиком, входившим в Королевское общество (старейшее национальное научное общество в мире и ведущая национальная организация по продвижению научных исследований в Великобритании), куда поступили другие выдающиеся личности, такие как Ньютон, Дарвин или Фарадей. Он разработал одну из важнейших теорем вероятности, которая дала ему название: Теорема Байеса или Теорема условной вероятности.

Теорема: условная вероятность

Чтобы пояснить эту теорему, воспользуемся очень простым примером. Представьте, что вам поставили диагноз очень редкое заболевание, которое поражает только 0,1% населения; то есть 1 из 1000 человек.

Тест, который вы выполнили для проверки наличия заболевания, правильно классифицирует 99% людей, у которых есть заболевание, а здоровых людей классифицирует неправильно с вероятностью 1%.

Я обречен! Это смертельное заболевание, доктор?

Это то, что скажет большинство людей. Однако после этого теста, каковы наши шансы действительно заболеть этим заболеванием?

99% точно! Мне лучше привести свои вещи в порядок.

При этой мысли должен преобладать менталитет Байеса, поскольку на самом деле он очень далек от реальности. Давайте воспользуемся теоремой Байеса, чтобы получить представление.

Теорема Байеса, или, как я назвал ее ранее, Теорема условной вероятности, используется для вычисления вероятности того, что гипотеза (H) верна (т. е. наличие заболевания) при условии, что произошло определенное событие (E) (при положительном диагнозе этого заболевания в тесте). Этот расчет описывается следующей формулировкой:

Член слева от знака равенства P (H | E) представляет собой вероятность заболевания (H) при условии, что нам поставили положительный диагноз (E) в тест на такое заболевание, которое мы и хотим рассчитать. Вертикальные полосы (|) в термине вероятности обозначают условную вероятность (т. Е. Вероятность A для данного B будет P (A | B) ).

Левый член числителя справа P (E | H) - это вероятность события при условии, что гипотеза верна. В нашем примере это будет вероятность получения положительного результата теста при наличии заболевания.

Термин рядом с ним; P (H) - это априорная вероятность гипотезы до того, как произойдет какое-либо событие. В этом случае это была бы вероятность заболеть до того, как будет проведен какой-либо анализ.

Наконец, член в знаменателе; P (E) - это вероятность события, то есть вероятность получения диагноза о заболевании. Этот термин можно дополнительно разложить в сумме двух меньших значений: наличие болезни и положительный результат теста плюс отсутствие болезни и положительный результат теста.

В этой формуле P (~ H) обозначает априорную вероятность отсутствия заболевания, где ~ означает отрицание или нет. На следующем рисунке описан каждый из терминов, участвующих в общем вычислении условной вероятности:

Помните, что для нас гипотеза или предположение H имеет заболевание, а событие или свидетельство E получает положительный диагноз в тесте на такое болезнь.

Если мы воспользуемся первой формулой, которую мы видели (полная формула для расчета условной вероятности заболевания и постановки диагноза), разложите знаменатель и вставьте числа , получаем следующий расчет:

0,99 исходит из 99% вероятности получения положительного диагноза, учитывая, что у нас есть заболевание, 0,001 исходит из вероятности 1 из 1000 заболеть этим заболеванием, 0,999 исходит из вероятности отсутствия этого заболевания, а последний 0,01 исходит из вероятности получения положительного результата теста, даже если у нас нет болезни. Окончательный результат этого расчета:

9%! Вероятность того, что у нас есть болезнь, составляет всего 9%! «Как это может быть?», наверное, спросите вы себя. Магия? Нет, друзья мои, это не волшебство, это просто вероятность: здравый смысл в применении к математике. Как описано в книге Даниэля Канемана Думай, быстро и медленно, человеческий разум очень плохо оценивает и вычисляет вероятности, как это было показано в предыдущем примере, поэтому мы всегда должны сдерживаться. интуиция, сделайте шаг назад и воспользуйтесь всеми имеющимися в нашем распоряжении вероятностными инструментами.

Представьте себе, что после получения положительного результата на первом тесте мы решаем пройти еще один тест с теми же условиями, в другой клинике, чтобы перепроверить результаты, и, к сожалению, снова получаем положительный диагноз. , что указывает на то, что второй тест также говорит о том, что у нас есть болезнь.

Какова реальная вероятность заболеть сейчас? Что ж, мы можем использовать ту же формулу, что и раньше, но заменив исходную априорную вероятность (0,1% шанс заболеть) апостериорной вероятностью, полученной в предыдущий раз (вероятность 9% после того, как тест был поставлен положительный результат один раз) и их дополнительные термины.

Если мы посчитаем цифры, мы получим:

Теперь у нас гораздо более высокий шанс, 91% действительно заболеть этой болезнью. Как бы плохо это ни выглядело, после двух положительных тестов все еще не до конца уверенности в том, что мы болеем. Кажется, уверенность ускользает от мира вероятностей.

Интуиция, лежащая в основе теоремы

Интуиция, лежащая в основе этой знаменитой теоремы, заключается в том, что мы никогда не можем быть полностью уверены в мире, поскольку это изменяющееся существо, изменение находится в природе реальности. Однако то, что мы можем сделать, что является фундаментальным принципом, лежащим в основе этой теоремы, - это обновлять и улучшать наши знания о реальности по мере того, как мы получаем все больше и больше данных или доказательств.

Это можно проиллюстрировать на очень простом примере. Представьте себе следующую ситуацию: вы находитесь в саду квадратной формы, садитесь на стул и смотрите за пределы сада. На противоположной стороне лежит слуга, который бросает первый синий шар внутрь квадрата. После этого он продолжает бросать другие желтые шары внутрь квадрата и сообщать вам, где они приземляются относительно исходного синего шара.

По мере того, как приземляется все больше и больше желтых шаров, и вы получаете информацию о том, где они приземляются относительно первого синего шара, вы постепенно увеличиваете свои знания о том, где может быть синий шар, не затрагивая определенные части сада: как мы получаем больше доказательств (больше желтых шаров), мы обновляем наши знания (положение синего шара).

В приведенном выше примере, когда было брошено всего 3 желтых шара, мы уже могли начать строить определенную идею о том, что синий шар находится где-то в верхнем левом углу сада.

Когда Байес впервые сформулировал эту теорему, он сначала не публиковал ее, считая, что в ней нет ничего экстраординарного, а статьи, в которых была сформулирована эта теорема, были найдены после его смерти.

Сегодня теорема Байеса - это не только одна из основ современной вероятности, но и широко используемый инструмент во многих интеллектуальных системах, таких как фильтры спама и многие другие текстовые и не связанные с текстом. решатели проблем.

В следующем посте мы увидим, что это за приложения и как теорему Байеса и ее варианты можно применить во многих реальных случаях использования. Чтобы проверить это, зайдите в подписывайтесь на меня на Medium и следите за обновлениями!

Для получения дополнительных материалов о вероятности и статистике посетите следующую страницу с лучшими онлайн-курсами, чтобы узнать об этой замечательной теме!

Вот и все, надеюсь, пост вам понравился. Не стесняйтесь связаться со мной в LinkedIn или подписаться на меня в Twitter по адресу @jaimezorno. Кроме того, вы можете ознакомиться с другими моими сообщениями о данных и машинном обучении здесь. Приятного чтения!