Может ли это помочь вам открыть для себя возможности машинного обучения?

Очень краткое объяснение с плохими рисунками

Проще говоря, машинное обучение — это процесс создания систем, которые могут использовать данные для прогнозирования.

Это действительно хорошо для решения проблем, где:

Трудно написать конкретные правила, которым нужно следовать

Обнаружение мошенничества

Делать прогнозы в изменяющихся условиях

и мое любимое — извлечение информации, чтобы помочь людям учиться и понимать вещи (интеллектуальный анализ данных)

Мы можем классифицировать машинное обучение по разным категориям в зависимости от того, насколько кто-то помогает ему учиться.

При обучении с учителем компьютеру даются данные и сообщаются правильные ответы, например, для классификации.

При обучении без учителя компьютер пытается найти закономерности в данных, не зная, что они из себя представляют.

Вот несколько вещей, которые может сделать неконтролируемое обучение:

Очистить данные, избавившись от лишней информации, которая не важна (уменьшение размерности)

Показывайте данные так, чтобы их было легче понять. Обратите внимание, как модель машинного обучения сгруппировала животных, хорошо отделенных от транспортных средств, и как лошади близки к оленям, но далеки от птиц.

Ищите вещи, которые обычно идут вместе, например, вещи, которые люди обычно покупают в одно и то же время. (обучение правил ассоциации)

Если я хочу разделить клиентов на более мелкие группы и не знаю, как разделить группы, я могу использовать неконтролируемое машинное обучение, чтобы просмотреть данные и попытаться найти закономерности самостоятельно. Если бы я знал, как определить группы, я мог бы использовать машинное обучение с учителем, используя обучающие данные, содержащие группы, которые мы пытаемся предсказать для каждого клиента.

Чтобы выбрать лучшую модель машинного обучения, мы пытаемся использовать разные модели с некоторыми данными (данными для обучения) и корректируем некоторые детали модели (параметры), чтобы она работала лучше.

Чтобы убедиться, что модель не просто запоминает обучающие данные и не будет хорошо работать с новыми данными, мы настраиваем другие детали модели, называемые гиперпараметрами, этот процесс называется регуляризацией.

Мы используем обучающие данные для обучения нашей модели. Но иногда эти данные могут быть не очень похожи на то, что мы видим в реальном мире. Чтобы исправить это, мы используем некоторые данные только для обучения и сохраняем немного на потом. Мы используем сохраненные данные, чтобы убедиться, что модель хорошо понимает новые вещи, похожие на реальный мир. Это помогает нам выбрать лучшую модель для использования.

Основные проблемы в машинном обучении

Отсутствие данных

плохие данные (плохое качество данных, нерепрезентативные данные, неинформативные функции)

чрезмерно простые модели, которые не соответствуют обучающим данным, или чрезмерно сложные модели, которые превосходят данные.

Не считаете ли вы, что эти серьезные проблемы разрешимы? Представьте, насколько мощным будет машинное обучение.