В этом посте представлено базовое введение в машинное обучение. Этот пост о машинном обучении не только поможет вам понять последние тенденции в интернет-индустрии, но и улучшит ваше понимание технологии, которая играет важную роль во многих сервисах, облегчающих нашу жизнь.
Рассказ о машинном обучении
На первый взгляд, термин машинное обучение может сбить с толку. В вычислительной области машина относится к компьютеру. Этот термин является антропоморфным и указывает на то, что это технология, позволяющая машинам «обучаться».
Традиционно, чтобы компьютер выполнил задачу, вы даете команду, компьютер выполняет команду в соответствии с вашим вводом. Однако ML работает не так! В ML компьютер не получает команду ввода, он получает ввод данных. Другими словами, в машинном обучении компьютер предназначен для использования данных, а не для выполнения задачи на основе команды. Статистическое мышление — важная концепция, которая очень полезна, когда вы больше изучаете предмет. Это концепция корреляции, а не причинно-следственной связи, идея, которая лежит в основе машинного обучения и делает его практичным.
Вот история, которая прекрасно иллюстрирует машинное обучение:
Вероятно, вы договорились с кем-то о встрече, а затем ждали появления другого человека. Не все пунктуальны. Итак, если вы встретите человека, который всегда опаздывает, вы неизбежно потратите некоторое время на его ожидание. Предположим, вы собираетесь встретиться со своим другом Джоном.
Джон не очень пунктуален. Тогда вы должны были встретиться на выставке технологий в 15:00. Как только вы вышли из двери, чтобы уйти, вы подумали про себя: «Должен ли я уйти прямо сейчас? Если я не уйду сейчас, мне придется ждать его 30 минут». Подумайте о стратегии, которую вы можете использовать для решения этой проблемы.
Существует множество подходов к этой проблеме:
- Первый метод заключается в использовании знаний, необходимых для решения этой проблемы. К сожалению, своего решения вечной проблемы ожидания хронически опаздывающих людей пока никто не записал. Следовательно, вы не сможете найти решение этой проблемы, исходя из имеющихся знаний.
- Второй способ — спросить кого-нибудь еще. Однако никто не мог дать вам решение этой проблемы.
- Третий метод заключается в использовании критериального метода. Поэтому спросите себя, устанавливали ли вы когда-нибудь какие-либо критерии для решения этой проблемы. Например, что бы ни делали другие люди, вы всегда приедете вовремя. Вероятно, нет.
На самом деле есть и другие методы, более подходящие, чем три упомянутых.
Рассмотрим этот вариант:
Вы думаете обо всем своем опыте с Джоном и пытаетесь подсчитать, сколько раз он опаздывал. Вы используете эту информацию, чтобы предсказать вероятность его опоздания на этот раз. Если эта вероятность превышает некоторый предел, который вы установили в своем уме, вы немного ждете, прежде чем выйти из дома, чтобы пойти на выставку.
Предположим, вы встречались с Джоном пять раз, и один раз он опоздал. Это означает, что он прибыл вовремя в 80 процентах случаев. Если ваша мысленная граница составляет 70 процентов, то вы предполагаете, что Джон не опоздает, и выходите из дома вовремя. Однако, если он опоздал четыре раза из пяти, это дает ему 20-процентную вероятность прибыть вовремя. В этом случае вы ждете некоторое время, прежде чем покинуть свой дом. Такой подход называется эмпирическим методом. Вы используете все соответствующие данные из прошлого. Поэтому можно сказать, что ваше решение основано на данных.
Идея принятия решений на основе данных согласуется с концепцией машинного обучения. В этом мысленном эксперименте вы рассматривали только атрибут «частота». Однако модели ML учитывают как минимум два фактора: один — зависимая переменная (результат, который вы хотите предсказать); в примере это решение о том, опоздает ли Джон. Другой фактор — это независимая переменная, которая используется для предсказания того, опоздает ли Джон. Если вы сделаете время независимой переменной, может случиться так, что все случаи, когда Джон опаздывал, были по пятницам, в то время как он никогда не опаздывал в другие дни недели.
Таким образом, вы можете создать модель для имитации вероятности того, что Джон опоздает, в зависимости от того, пятница сегодня или нет. На следующей диаграмме представлена простая модель машинного обучения, называемая деревом решений.
Когда вы рассматриваете одну независимую переменную, процесс довольно прост. Но что, если добавить вторую независимую переменную? Возвращаясь к предыдущей истории, скажем, что в некоторых случаях, когда Джон опаздывает, он сидит за рулем. Может он плохой водитель или пробки большие. Следовательно, эта новая информация может быть добавлена к процессу принятия решений. Теперь вы можете создать более сложную модель, включающую две независимые переменные и одну зависимую переменную.
Чтобы еще больше усложнить ситуацию, плохая погода, например дождь, могла сыграть роль в том, что Джон опоздал. Таким образом, теперь у вас есть три независимые переменные для рассмотрения.
Если вы хотите предсказать, на сколько времени Джон опоздает, вы можете связать количество минут, в течение которых Джон опоздал, с количеством дождя и другими независимыми переменными, чтобы создать единую модель. Прогнозы, полученные с помощью этой модели, дают представление о том, насколько поздно Джон будет опаздывать в любой конкретный день. Это поможет вам спланировать фактическое время, чтобы выйти из дома, чтобы встретиться с ним. В этой ситуации простое дерево решений не поможет, поскольку оно может предсказывать только дискретные значения. Однако вы можете использовать метод линейной регрессии, который будет обсуждаться в посте «Методы машинного обучения».
На этом этапе вы можете решить передать работу по моделированию компьютеру, например, вы можете ввести все независимые и зависимые переменные, а компьютер сгенерирует модель. Затем каждый раз, когда у вас назначена встреча с Джоном, вы можете попросить компьютер просмотреть текущую ситуацию и определить, следует ли вам выходить из дома поздно, и если да, то на сколько минут. Когда компьютер выполняет этот тип процесса поддержки принятия решений, он реализует процесс машинного обучения.
В методе машинного обучения компьютер использует существующие данные (опыт) для создания определенной модели (правила опоздания). Затем эта модель предсказывает будущее (независимо от того, опоздает ли Джон).
Благодаря анализу вы можете видеть, что машинное обучение очень похоже на нормальное человеческое мышление. Однако он может учитывать гораздо больше ситуаций и выполнять более сложные вычисления. На самом деле, основная цель машинного обучения — преобразовать процесс, с помощью которого люди обобщают свой прошлый опыт, в процесс, в котором компьютер может анализировать данные для создания модели. Эти компьютерные модели приближены к тому, как люди решают тонкие и сложные проблемы.
Теперь мы переходим к определению, области применения, методам и приложениям машинного обучения.
Машинное обучение: определение
В широком смысле машинное обучение — это метод, который дает возможности машинного обучения, позволяя им реализовывать функции, которые невозможно реализовать с помощью простого программирования. Однако на практике машинное обучение — это метод, который использует данные для обучения модели, а затем использует модель для прогнозирования.
Рассмотрим пример с ценой на жилье.
Мы используем различные цены на жилье. У вас есть дом, который вы хотите продать. По какой цене вы должны указать это? Площадь дома 100 квадратных метров. Итак, правильная ли цена 1 миллион долларов? 1,2 миллиона долларов? Или 1,4 миллиона долларов?
Очевидно, вам нужно правило, связывающее цену с площадью дома. Но как найти такое правило? Используете ли вы данные о средней цене на жилье из газет или онлайн-провайдеров? Или вы смотрите на цены домов аналогичного размера?
Что вам нужно, так это рациональное правило, отражающее соотношение между размером площади и ценой в максимально возможной степени. Поскольку вы изучили цены на похожие дома в этом районе, у вас уже есть набор данных. Этот набор данных содержит информацию о площади и ценах на дома всех размеров. Если вы найдете правило, связывающее размер площади и цену из этих данных, вы сможете найти подходящую цену для своего дома.
На самом деле найти такое правило довольно легко. Вам просто нужно провести прямую линию, которая наилучшим образом соответствует всем точкам на графике, с минимально возможным расстоянием от каждой точки до линии.
Найдя эту прямую, вы получите правило, которое лучше всего отражает соотношение между размером площади и ценой. Эта строка определяется следующей функцией:
House price = area * a + b; где a и b — параметры линии.
Найдя эти параметры, вы можете рассчитать подходящую цену для вашего дома.
Предположим, что a = 0,75 и b = 50 (в миллионах долларов). В этом случае цена дома составляет 100 * 0,75 + 50 = 1,25 миллиона долларов. Этот результат отличается от трех вариантов, перечисленных ранее: 1 миллион долларов, 1,2 миллиона долларов и 1,4 миллиона долларов. Поскольку эта линия учитывает большинство случаев, статистически это наиболее разумный прогноз.
Ниже приведены наблюдения, сделанные по поводу этой модели.
- Модель цен на жилье зависит от функции, используемой для подбора данных. Если используется прямая линия, вы подгоняете линейное уравнение к данным. Если используются другие типы линий, такие как парабола, вы подгоняете к данным уравнение другого типа линии. В машинном обучении используется множество различных алгоритмов. Есть несколько мощных алгоритмов, используемых для создания сложных нелинейных моделей. Это позволяет отразить ситуации, которые невозможно выразить прямой линией.
- Если у вас есть больше данных, ваша модель будет учитывать больше ситуаций и может лучше прогнозировать новые ситуации. Это воплощает философию «Данные — это король», преобладающую в области машинного обучения. Как правило (хотя и не всегда), чем больше данных у вас есть, тем лучше прогнозы моделей, созданных машинным обучением.
Вы можете использовать процесс поиска наиболее подходящей строки, чтобы посмотреть на весь процесс машинного обучения. Во-первых, вам нужно сохранить исторические данные на свой компьютер. Затем обработайте эти данные с помощью алгоритма машинного обучения. На языке машинного обучения этот процесс называется «обучением». Результат такого обучения может предсказывать новые данные. Этот результат считается модельным. Процесс, используемый для прогнозирования новых данных, называется «прогнозирование». Обучение и прогнозирование — это процессы в машинном обучении, а модели — промежуточные результаты. Обучение создает модель, которая, в свою очередь, определяет прогноз.
Используя следующую схему, вы можете сравнить процесс машинного обучения с эмпирическим мышлением человека.
По мере того, как вы растете и живете, вы накапливаете много опыта. Вы регулярно обобщаете этот опыт и придумываете «правила» жизни. Когда вы сталкиваетесь с незнакомой проблемой или вам нужно подумать о будущем, вы используете эти «правила». Такой образ мышления направляет вас в повседневной жизни и работе.
В машинном обучении процессы обучения и прогнозирования соответствуют вашим умственным процессам обобщения и рассуждений. Эта переписка показывает, что концепция машинного обучения не сложна. Это просто имитация обучения и роста всех людей. Поскольку результаты машинного обучения не являются продуктом программы, процесс не похож на причинно-следственную систему. Скорее, он использует обобщение (или индукцию), чтобы сделать соответствующие выводы.
Это также возвращает причину изучения истории. Историю можно рассматривать как обобщение прошлого человеческого опыта. Слышали поговорку: «История часто бывает разной, но всегда удивительно похожа». Изучая историю, вы можете найти общие правила, касающиеся людей и наций, и использовать их для управления своим поведением. В этом великая ценность истории.
Объем машинного обучения
В предыдущем разделе мы обсудили определение машинного обучения. Теперь давайте посмотрим на его масштабы.
Область применения машинного обучения аналогична распознаванию образов, статистическому обучению и интеллектуальному анализу данных. В то же время в сочетании с технологиями из других областей он формирует междисциплинарные дисциплины, такие как распознавание речи и обработка естественного языка.
Давайте обсудим некоторые области, связанные с ML, а также рассмотрим некоторые сценарии применения и область исследований ML. Это улучшит ваше понимание последующих обсуждений алгоритмов и уровней приложений.
На следующем изображении показаны некоторые дисциплины и области исследований, связанные с машинным обучением.
- Распознавание образов
Распознавание образов = машинное обучение
Основное различие между распознаванием образов и машинным обучением заключается в том, что первая концепция возникла вместе с развитием промышленного сектора, а вторая — из информатики. В своей книге «Распознавание образов и машинное обучение» Кристофер М. Бишоп говорит: «Распознавание образов пришло из промышленного сектора, а машинное обучение взято из информатики. Однако на практике их можно рассматривать как две стороны одного поля. За последнее десятилетие они оба значительно развились».
- Сбор данных
Интеллектуальный анализ данных = машинное обучение + базы данных
В последнее время концепция интеллектуального анализа данных стала слишком привычной. Всякий раз, когда люди говорят о интеллектуальном анализе данных, они всегда хвастаются его мощью. Например, он извлекает золото из данных или преобразует отброшенные данные в ценность. Однако не всегда можно быть уверенным, что вы всегда найдете золото, когда будете его добывать. Это также относится к интеллектуальному анализу данных. Интеллектуальный анализ данных — это просто способ мышления. Вы должны попытаться добывать данные, чтобы обнаружить знания. Необходимо иметь глубокое понимание данных, чтобы найти закономерности в данных, которые помогут улучшить бизнес. Большинство алгоритмов, используемых в интеллектуальном анализе данных, представляют собой алгоритмы машинного обучения, оптимизированные для баз данных.
- Статистическое обучение
Статистическое обучение почти синонимично машинному обучению. Эти две дисциплины имеют высокую степень пересечения. Поскольку большинство методов машинного обучения исходят из статистики и могут считаться статистическими методами, развитие статистики способствует машинному обучению. Например, знаменитый алгоритм SVM основан на статистике. Однако эти две дисциплины в определенной степени различаются. Практики статистического обучения сосредотачиваются на разработке и оптимизации статистических моделей и, как правило, склоняются к математике. Однако специалистов по машинному обучению больше интересует способность решать проблемы и склоняться к практическим применениям. Поэтому исследователи машинного обучения сосредоточены на повышении эффективности и точности алгоритмов, работающих на компьютерах.
- Компьютерное зрение
Компьютерное зрение = обработка изображений + машинное обучение
Технология обработки изображений обрабатывает изображения, чтобы преобразовать их в подходящие входные данные для моделей машинного обучения. Машинное обучение отвечает за распознавание шаблонов на изображениях. Существует множество приложений компьютерного зрения, таких как распознавание изображений Google, распознавание рукописных символов и распознавание номерных знаков. Перспективы применения в этой области многообещающие, и это популярное направление исследований. По мере того, как новая область глубокого обучения развивалась в рамках машинного обучения, она значительно улучшила производительность приложений для компьютерного распознавания изображений. Таким образом, дальнейшие перспективы развития области компьютерного зрения безграничны.
- Распознавание речи
Распознавание речи = обработка голоса + машинное обучение
Распознавание речи — это сочетание технологии обработки звука и машинного обучения. Самостоятельно используется редко. Он сочетается с технологией обработки естественного языка. Приложение включает в себя голосового помощника Apple Siri.
- Обработка естественного языка
Обработка естественного языка = обработка текста + машинное обучение
Технология обработки естественного языка в основном используется для того, чтобы машины могли понимать естественную человеческую речь. Он широко использует технологии теории компиляторов, такие как лексический и синтаксический анализ. Также на уровне понимания используют семантическое понимание, машинное обучение и другие технологии. Поскольку речь идет об уникальных символах, созданных людьми, обработка естественного языка была постоянным направлением исследований машинного обучения. По словам эксперта Baidu по машинному обучению Ю Кая, «быть грубым, слушать, смотреть и издавать звуки — это то, что могут делать даже собаки и кошки, но язык уникален для людей». Попытка использовать технологию машинного обучения, чтобы дать компьютерам более глубокое понимание человеческого языка, постоянно находится в центре внимания в промышленности и академических кругах.
Вывод
Теперь вы понимаете, как машинное обучение имеет расширения и приложения во многих областях. Развитие машинного обучения способствовало развитию различных интеллектуальных областей для улучшения нашей повседневной жизни. Информацию о методах машинного обучения см. во второй части серии из трех частей «Методы машинного обучения».
Ссылка:
