Если вы много читаете или смотрите много фильмов, посещаете технические конференции или просто смотрите на YouTube, здесь и там вы услышите основной доклад о том, как машинное обучение и искусственный интеллект являются движущей силой наших продуктов, конечно, это Основные выступления генерального директора Сундара Пичаи, Google и Alphabet. В настоящее время мир переходит на использование искусственного интеллекта, и теперь это становится частью нашей жизни. В этой статье я сосредоточусь на том, чтобы дать вам базовое введение в машинное обучение.

Во-первых, что такое Машинное обучение. Это отрасль науки, которая занимается алгоритмами и системами, выполняющими задачи с использованием шаблонов и выводов, а не явно запрограммированных инструкций. Она фокусируется на разработке компьютерных программ, которые могут получать доступ к данным. и использовать его для самостоятельного обучения, процесс обучения начинается с наблюдений или данных, таких как примеры, непосредственный опыт или инструкции, чтобы искать закономерности в данных и принимать лучшие решения в будущем на основе примеров, которые мы предоставляем.

Машинное обучение подразделяется на два типа:
— обучение с учителем;
— обучение без учителя.

Обучение с учителем. Это в основном использование помеченных данных для обучения модели, метки представляют класс или категорию, к которой принадлежит каждое наблюдение данных. После успешного обучения модели она должна иметь возможность маркировать новые данные из того же распределения населения, что и обучающие данные.

Пример: предположим, вы обучаете модель предсказывать, есть ли на изображении здание или нет. С помощью обучения с учителем вы будете обучать свою модель на наборе данных изображений, каждое из которых помечено «Да», где у нас есть здание, и «Нет», если на изображении нет здания. После обучения вашей модели она сможет сделать снимок и определить, содержит ли это изображение здание.

Обучение без учителя. Здесь вы используете немаркированные данные, чтобы модель могла изучать взаимосвязи между наблюдениями за данными и выявлять лежащие в их основе шаблоны. Если вы задумаетесь об этом, большинство данных в мире не помечены, поэтому вы часто обнаружите, что обучение без учителя используется.

Пример: Взяв наш хороший пример предсказания того, есть ли на изображении здание или нет, модель сможет уловить внутренние различия между двумя возможностями, то есть различия в пикселях, цвете или ориентации. Модель не определяет правильный вывод, но она исследует данные и может делать выводы из наборов данных, чтобы описывать скрытые структуры из неразмеченных данных.

Полууправляемое обучение.Этонаходится где-то посередине между контролируемым и неконтролируемым обучением, поскольку для обучения используются как размеченные, так и неразмеченные данные — обычно небольшое количество размеченных данных и большое количество. неразмеченных данных. Модели, использующие этот метод, способны значительно повысить точность обучения.

Обучение с подкреплением. Это метод обучения, который взаимодействует с окружающей средой, производя действия и обнаруживая ошибки или вознаграждения. Поиск методом проб и ошибок и отсроченное вознаграждение являются наиболее важными характеристиками обучения с подкреплением. Этот метод позволяет машинам и программным агентам автоматически определять идеальное поведение в определенном контексте, чтобы максимизировать его производительность.

Как разъяснялось выше, многие задачи требуют полуконтролируемого обучения, поскольку модели, использующие его, могут значительно повысить точность своего обучения.

При создании моделей машинного обучения решение о том, какой метод использовать, является первым шагом, а затем вы должны выбрать правильную архитектуру модели и иметь возможность обрабатывать в конвейере обучения, где вы можете интерпретировать результаты модели.

Искусственный интеллект, машинное обучение и наука о данных. В чем разница?

Машинное обучение — это подмножество искусственного интеллекта, оно сильно пересекается с наукой о данных. Искусственный интеллект имеет дело с любыми методами, которые позволяют машинам отображать интеллект, аналогичный человеческому.
Машинное обучение — это всего лишь один из методов, используемых для создания искусственного интеллекта.

Когда вы являетесь специалистом по данным, ваша работа заключается в сборе информации из наборов данных, как специалисту по данным, вам в основном придется собирать данные, использовать статистические методы и делать выводы из наборов данных. Как специалист по данным, всегда полезно убедиться, что вы хорошо понимаете машинное обучение.

Итак, мы все поняли выше, по крайней мере, я на это надеюсь, следующий шаг — вы хотите создать модель машинного обучения, что вам нужно сделать?
Давайте теперь рассмотрим этапы процесса машинного обучения.

Семь шагов процесса машинного обучения

  1. Сбор данных.Первый и самый важный шаг – сделать ваши данные доступными. На этом этапе вы в основном извлекаете необработанный набор данных для задачи машинного обучения, это может быть источник с открытым исходным кодом или из премиум-сервиса. Следует помнить, что качество данных, которые вы собираете, имеет большое значение. Если данные, которые вы собираете, низкого качества или неактуальны, то модель, несомненно, будет низкого качества.
  2. Обработка и подготовка данных. На этом этапе, когда у вас есть данные, вы должны убедиться, что они подходят для обучения вашей модели. Хорошим примером является обработка любых отсутствующих данных и работа с выбросами.
  3. Разработка функций: наша цель – создать модель, которая чего-то достигает. После обработки и подготовки данных нам придется преобразовать некоторые функции или даже отказаться от некоторых, чтобы оптимизировать эффективность модели. пройти обучение на данных.
  4. Выбор модели. Здесь на основе данных, которые у вас есть сейчас, вы должны выбрать правильную и эффективную архитектуру модели для использования, хотя в большинстве сценариев это может быть достигнуто с помощью существующих архитектур моделей.
  5. Обучение модели и конвейер данных. После того, как вы выбрали архитектуру модели, вы теперь создаете конвейер для обучения модели. Обучение часто занимает много времени, и поэтому важно, чтобы ваш конвейер был максимально эффективным. На этом этапе вы в основном создаете непрерывный поток наблюдений за данными, которые вы используете для эффективного обучения вашей модели.
  6. Проверка модели. На этом этапе вы берете на себя ответственность за свою модель, здесь вы проверяете свою модель, используя часть общего набора данных. Важно помнить, что эти данные должны поступать из того же базового распределения, что и обучающий набор данных, но модель не должна была видеть эти данные раньше.
  7. Сохранение модели.После успешного обучения модели и ее проверки помните, что она нужна вашим клиентам, именно здесь вы запускаете модель в производство и позволяете своим клиентам взаимодействовать и давать хорошие пять- звездные отзывы о том, как ваш продукт облегчает им жизнь.

Как и в случае с любым продуктом, всегда полезно собирать отзывы, поэтому не забывайте также записывать некоторые отзывы, работайте над улучшением модели каждый раз, и вы всегда будете понимать, что эффективность повышается.

Вот и все, не забудьте подписаться на меня и поставить лайк этой статье, дальше будет больше.