Два очень важных алгоритма обучения с учителем — это линейная регрессия и логистическая регрессия. Эти алгоритмы принимают функции, которые являются значениями, которые действуют как свойства, помогающие нам предсказать наш целевой результат. Затем они используют эти свойства, чтобы найти вес (который можно назвать тета-параметром), который даст нам лучший прогноз. Начнем с линейной регрессии, затем перейдем к логистической регрессии.
В линейной регрессии мы обычно работаем с задачами регрессии, чтобы предсказать реальный результат. И если вы когда-либо проходили курс машинного обучения, вы, вероятно, слышали о примере с ценами на жилье, я также буду использовать этот пример здесь. Итак, допустим, вы риелтор и хотите установить цену продажи дома, вы будете смотреть на количество комнат, вид на дом, расположение, качество района и так далее. Затем на основе этих свойств вы оцениваете дом. Линейная регрессия делает это, но использует математику. Таким образом, линейная регрессия примет во внимание эти свойства и узнает, что делает цену определенной величиной. Он будет использовать веса или тета для прогнозирования выходных данных. Вес будет нести знания, которые он узнал о свойствах, давайте посмотрим на уравнение, чтобы понять больше.
hθ(x) = θ0 + θ1x
«h» означает гипотезу, это своего рода ваша модель, уравнение, которое выполняет расчет для вашего результата. Тогда θ0 — это наш предвзятый термин, он будет в основном фокусироваться на смещении положения кривой, обратите внимание, что у него есть и другие применения, но я не буду их упоминать. Затем у нас есть θ1, который является нашим весом, а x является свойством или, точнее, нашей функцией. Используя это уравнение, линейная регрессия учится предсказывать ваш результат. Итак, вы можете подумать «как узнать этот тета-параметр», используя функцию стоимости. Сначала мы начинаем с некоторых случайных значений, затем функция стоимости помогает нам скорректировать наши веса. Функция стоимости говорит вам, насколько вы ошибаетесь, она вычтет ваш прогноз из истинного ответа, который является правильным ответом. Чтобы лучше понять это, давайте возьмем пример, предположим, что вы играете в дартс и пытаетесь прицелиться в маленький красный кружок в середине, но промахиваетесь, поэтому смотрите и видите, насколько отклонился ваш прицел, затем вы пытаетесь скорректировать свою позу. и снова бросить. Та часть, где вы пытаетесь скорректировать свою позу и попытаться получить лучший результат, похожа на встроенную функцию стоимости для вас. Обратите внимание, что в приведенном выше уравнении есть только один x, это называется одновариантной линейной регрессией. Я настоятельно рекомендую вам прочитать о многомерной линейной регрессии, потому что она используется чаще.
Давайте посмотрим на одновариантную линейную регрессию на графике, допустим, у нас есть этот график только с одной входной переменной x и нашим выходом y. Линейная регрессия всегда будет пытаться найти линию, которая соответствует точкам как можно ближе. Но обратите внимание на линию, которая отчаянно пытается подогнать точки, и вы поймете, почему, когда я буду говорить о переоснащении в другой статье.
Этот график может не соответствовать задаче, но я использовал простой, чтобы проиллюстрировать идею.
Переходя к логистической регрессии, здесь мы предсказываем дискретные значения, такие как классы, поэтому мы можем сказать, что наш результат будет 0 или 1. Мы хотим нарисовать граничную линию, как на рис. 3, имейте в виду, что граничная линия не обязательно имеет чтобы быть линейным, он может иметь различные формы, как на рис. 4, хотя я не буду подробно останавливаться на деталях формы граничной линии.
В отличие от линейной регрессии, где у нас может быть широкий диапазон результатов, в логистической регрессии мы хотим ограничить наши результаты в пределах диапазона. Итак, допустим, у нас есть проблема, когда у нас есть 0 или 1 в качестве желаемого результата, мы можем иметь любое значение между этими двумя. Но когда мы хотим классифицировать выходные данные, у нас будет порог, поэтому, скажем, у нас есть порог 0,5, все, что меньше 0,5, будет принадлежать классу 0, а все, что больше или равно 0,5, будет принадлежать классу 1. Давайте возьмем другой общий задача классификации машинного обучения, которая предсказывает тип опухоли как злокачественный или доброкачественный, где 1 — класс злокачественности, а 0 — класс доброкачественности. Итак, если ваша модель выдает 0,7, что это значит? это означает, что вероятность того, что опухоль является злокачественной, составляет 70%. Обычно мы ссылаемся на вероятность выхода в процентах для положительного класса, который в данном случае является злокачественным.
Вы можете подумать, почему мы не можем использовать линейную регрессию с классификацией? ну, это потому, что в логистической регрессии мы хотим иметь границу решения, которая будет различать наши классы. Но с линейной регрессией, как я упоминал выше, она всегда будет пытаться подобрать наилучшую линию между всеми точками, и даже когда мы установим порог, наша линия будет корректироваться с любой новой точкой, и это может закончиться неправильной классификацией многих точек. Теперь давайте рассмотрим, как работает логистическая регрессия. Я упоминал ранее, что логистическая регрессия должна быть ограничена диапазоном, обычно у нас будут некоторые входные значения из разных диапазонов, как мы можем ограничить их в определенном диапазоне? ну, и снова математика будет решением всех наших вопросов. В логистической регрессии мы используем функцию, называемую сигмовидной функцией.
Теперь помните нашу гипотезу? у нас все еще есть то же самое с весами и всем остальным, разница в том, что гипотеза будет внутри нашей сигмовидной функции, как показано на рис.7.
В логистической регрессии у нас также будет функция стоимости, которая учится на своих ошибках. Функция стоимости для обоих алгоритмов является важной концепцией для объяснения, поэтому я посвящу еще одну статью тому, как работают их функции стоимости. Теперь просто знайте, что функция стоимости дает нам обратную связь о качестве прогнозов.
Важным моментом, который вам нужно знать о логистической регрессии, является то, как обрабатывать несколько классов. Для обработки нескольких классов мы используем технику, называемую один против остальных. Представьте, что у вас есть три класса собака, кошка и акула, теперь вам нужно построить три разных классификатора, они будут следующими:
Классификатор 1) Класс 1: кошка класс 2: собака и акула
Классификатор 2) Класс 1: собака класс 2: кошка и акула
Классификатор 3) класс акул 2: собака и кошка
Второй класс будет рассматриваться как один класс, хотя он состоит из двух разных типов. Затем, когда мы вводим новое значение, это значение будет передано каждому классификатору, и класс с самым высоким прогнозом будет нашим классом. Допустим, вы получаете тестовый пример и вводите его в три классификатора. В классификаторе 1 мы получаем вероятность 0,4 быть кошкой, а в классификаторе 2 мы получаем вероятность 0,1 быть собакой, а в классификаторе 3 мы получаем вероятность 0,9 быть акулой, тогда наше тестовое значение принадлежит акуле сорт.
В заключение этой статьи стоит отметить, что эти две темы не так легко понять поначалу, поэтому не беспокойтесь, если вы чувствуете себя запутанным. Пожалуйста, не стесняйтесь обращаться ко мне через LinkedIn, если у вас есть какие-либо вопросы или заметки об этой статье или серии.
LinkedIn: https://www.linkedin.com/in/nora-aqeeli/
Ресурсы:
https://www.coursera.org/learn/machine-learning
https://towardsdatascience.com/multi-class-classification-one-vs-all-one-vs-one-94daed32a87b
