Проблемы машинного обучения в основном вращаются вокруг трех следующих подполей:

  • Контролируемое обучение

Обучение с учителем использует помеченные наборы данных, чтобы научить компьютеры делать что-то на примерах. Известным примером использования этого является обнаружение спама. Если мы предоставим достаточное количество примеров писем, правильно помеченных как «спам» или «не спам», мы сможем обучить модель машинного обучения для успешной классификации непросмотренных экземпляров, также называемых новыми электронными письмами, которые не использовались на этапе обучения. модели.

  • Обучение с подкреплением

Обучение с подкреплением направлено на обучение агента (модели), позволяя ему взаимодействовать с окружающей средой. В некотором смысле это похоже на то, как мы, люди, учимся, когда взрослеем. Например, если вы прикоснетесь к чему-то очень горячему и поранитесь, вы свяжете это действие с негативным сигналом. Эта основная идея такая же, как и в обучении с подкреплением. Агент пытается максимизировать так называемый сигнал вознаграждения, ища наилучшее действие или серию действий для выполнения. Хорошим примером являются шахматные движки.

  • Обучение без учителя

Обучение с учителем и обучение с подкреплением похожи в том смысле, что модели помогают («под наблюдением») на этапе обучения. Однако при неконтролируемом обучении мы имеем дело с немаркированными наборами данных и сами не знаем, как классифицируются обучающие выборки. Модель обучена обнаруживать скрытые структуры в данных. Распространенной задачей является поиск подгрупп связанных выборок в наборе данных. Неконтролируемое обучение часто используется для сегментации клиентов, например, для формирования групп клиентов на основе их интересов.

В этой статье я сосредоточу свое внимание на обучении с учителем и представлю две связанные с ним основные подзадачи: классификацию и регрессию.

Проблемы классификации

Если вернуться к примеру обнаружения спама, то можно отметить, что нам нужна модель, чтобы различать дватипа электронных писем: «спам» и >"не спам". Другими словами,когда наша модель делает прогноз относительно электронного письма, возможны два исхода: электронное письмо либо является спамом, либо нет. В данном случае мы выполняем задачу классификации, поскольку у нас есть дискретный(конечный)набор возможных результатов.

Допустим, нас интересуют только две характеристики (характеристики) каждого образца письма: количество ссылок и количество грамматических ошибок. Мы можем построить каждый образец в двухмерном пространстве с координатами, являющимися значениями этих функций:

По сути, при классификации мы пытаемся найти границу, которая четко разделяетдве категории писем. Вот так, например:

Теперь, чтобы предсказать, является ли новое электронное письмо спамом, модель просто проверяет, с какой стороны границы находится точка, представляющая новый экземпляр.

Примечание. В этом примере с классификацией электронной почты у нас есть только два возможных результата, но их не обязательно должно быть два. Мы можем легко представить себе случаи, когда нужно различать более двух категорий или меток. Например, при распознавании рукописных цифр существует 10 возможных результатов (цифры от 0 до 9), но это все еще проблема классификации.

Когда задача классификации имеет два возможных результата, мы говорим о бинарной классификации. Для более чем двух возможных выходных ярлыков мы говорим, что выполняем многоклассовую классификацию.

Проблемы регрессии

Теперь давайте представим, что у нас есть студенты, сдающие экзамен по математике, и мы знаем для каждого студента, сколько времени было потрачено на подготовку к экзамену. Если есть связь между временем обучения и итоговой оценкой экзамена, мы можем обучить модель машинного обучения прогнозировать оценку студента на экзамене, зная время, которое он / она потратил на учебу (может быть гораздо больше, чтобы принять во внимание чем просто время учебы, но давайте предположим, что это будет работать нормально).

В этой новой задаче мы пытаемся предсказать непрерывный результат: счет. Окончательная оценка за экзамен не ограничена конечным набором значений, это может быть любое значение в пределах диапазона. В этом случае на помощь приходит регрессия.

Опять же, нас здесь интересуют только две характеристики для каждого студента: время обучения и итоговый балл:

История теперь другая. Вместо того, чтобы пытаться разделить выборки на разные категории, мы пытаемся найти взаимосвязь между двумя непрерывными переменными. Глядя на предыдущий рисунок, вы, безусловно, уже видите закономерность в данных. Чем больше время обучения, тем выше итоговая оценка. Именно эту связь регрессия пытается уловить более точно:

Когда мы находим подобную линию, которая соответствует наибольшему количеству точек данных, мы можем экстраполировать и предсказать справедливое приближение окончательной оценки для новых студентов, зная время, затраченное на обучение.

Примечание. Регрессия не всегда заключается в построении линии, соответствующей точкам данных. Иногда простая строка не может достаточно хорошо отразить взаимосвязь между переменными, и нам нужны более сложные функции. Когда мы пытаемся провести прямую линию, соответствующую точкам данных, мы используем линейную регрессию. Существуют методы регрессии, использующие более сложные функции, такие как полиномиальная регрессия.

Подводя итог, можно сказать, что классификация и регрессия являются двумя основными направлениями контролируемого машинного обучения. У них общая цель: делать прогнозы о новых экземплярах данных на основе набора примеров. Основное различие между этими двумя методами заключается в характере данных, с которыми мы работаем. При классификации мы имеем дело с дискретными, категоричными данными, тогда как при регрессии мы пытаемся найти закономерности в непрерывных числовых данных.

Я надеюсь, что это было полезно и помогло вам лучше понять.

Спасибо за прочтение ! 👋