Все, что вам нужно знать о машинном обучении
Вступление
Искусственный интеллект (ИИ) позволяет машинам учиться на собственном опыте, приспосабливаться к новым входным данным и выполнять задачи, похожие на человеческие. Люди из разных областей пытаются применить ИИ, чтобы сделать свою работу намного проще.
Эти месторождения стремительно развиваются в последние годы. Мы видим их обоих в нашей жизни ежедневно. Мы можем наблюдать множество приложений, от медицинских приложений до рекомендаций клиентов. В области искусственного интеллекта совершается значительный прорыв, о котором никто и не догадывался.
Например, врачи используют приложения искусственного интеллекта для предоставления персонализированных медицинских и рентгеновских показаний. В розничной торговле ИИ предоставляет возможности виртуальных покупок, которые предлагают персональные рекомендации и обсуждают варианты покупки с потребителем. Банковские методы искусственного интеллекта могут определить, какая транзакция может быть мошеннической.
Машинное обучение
Это разработка компьютерных программ, которые позволяют компьютерам учиться автоматически без вмешательства человека. Мы можем назвать это инструментом для преобразования информации в знания. За последние 40 лет создается много данных, которые хранятся в стороне и не используются для целей анализа. А вот и роль машинного обучения; эти методы используются для анализа данных, извлечения значимой информации, визуализации данных и поиска многих более ценных закономерностей в данных. Мы даже можем предсказать будущие события, используя предоставленные данные, с помощью которых мы можем принимать решения.
Приложения
Мы уже ежедневно взаимодействуем с машинным обучением; звучит удивленно? Это правда, всякий раз, когда вы ищете какой-либо предмет и когда снова открываете свое устройство, вы можете найти рекламу этого предмета. Что касается Netflix, то с помощью алгоритмов рекомендаций он может рекомендовать фильмы вашего любимого жанра. Некоторые приложения Mchine Learning включают
- На современных аппаратах будет поставлен точный диагноз пациенту.
- Это поможет вам определить, является ли полученное письмо спамом.
- Распознавание голоса, поиск изображений возможен благодаря машинному обучению.
- Поисковые системы предлагают рекомендации, основанные на вашем предыдущем поиске.
Терминология в машинном обучении
1. Набор данных
Это набор данных в табличной форме. Он состоит из строк и таблиц. Каждый столбец описывает конкретную функцию, а каждая строка соответствует значению этой функции. Как правило, набор данных будет в формате CSV (значения, разделенные запятыми). Мы даже можем использовать TSV (значения, разделенные табуляцией) и многие другие типы.
2. набор поездов
Набор данных делится на тестовый и обучающий. Набор обучающих данных используется для обучения нашей модели, так что наша модель изучает отношения между данными и может обеспечивать более точные прогнозы.
3. набор тестов
Этот набор данных используется для измерения того, насколько хорошо наша модель выполняется, путем сравнения ожидаемых результатов и наших данных.
4. набор для валидации
Подмножество набора данных из обучающего набора рассматривается для проверки.
5. точность
Точность - это мера того, насколько хорошо модель работает.
6. Категориальные данные
Категориальные данные имеют дискретные качественные значения. Например, цвета автомобилей красный, синий, белый, черный.
7. особенности инженерии
Процесс определения того, какие функции могут быть полезны во время обучения модели.
8.Импутация
Это метод, используемый для обработки отсутствующих значений в данных.
Шаги в машинном обучении
Получите данные
Основываясь на вашей постановке проблемы, вам необходимо собрать данные в соответствии с ней. Качество и количество собранных данных определяют производительность вашей модели.
Подготовка данных
Собранные данные могут быть не в требуемой форме. Например, модель машинного обучения не принимает категориальные данные, и возникнет проблема, если в данных отсутствуют значения и данные не нормализованы.
На этом этапе нам нужно заполнить недостающие данные. При необходимости мы можем отбросить эти недостающие значения. Нам нужно преобразовать категориальные значения в числовые значения. Все ценности на независимой стороне должны быть категоризированы. Моде будет сложно принять его как вход и обучить.
Выбор модели
У нас есть много моделей машинного обучения, и выбор модели играет жизненно важную роль в определении предсказательной силы постановки задачи. Для непрерывного прогнозирования значений мы обычно используем регрессионные модели, а для прогнозирования категориальных классов мы используем алгоритмы классификации, такие как логистическая регрессия, деревья решений и многие другие.
Обучение
После того, как данные организованы, мы разделяем данные на набор поездов и набор тестов на основе случайности. Мы обучаем нашу модель с помощью наших обучающих данных, чтобы понимать отношения внутри данных и делать более точные прогнозы.
Оценка
После обучения нашей модели мы оцениваем производительность модели с помощью тестовых данных. Мы используем некоторые оценочные показатели для измерения эффективности нашей модели. Например, в моделях классификации мы используем точность, отзыв, оценку F1.
Настройка параметров
Если оценка прошла успешно, мы переходим к следующему шагу. Если результат оценки низкий, есть вероятность того, что наша модель имеет недостаток недообучения или переобучения. В этом случае убедитесь, что вы настроили скорость обучения модели, а также увеличили количество эхо-сигналов и попробуйте изменить другие гиперпараметры.
Прогноз
Прогнозирование - это заключительный этап нашей модели, на котором мы решаем, готова ли наша модель к реальным или практическим приложениям. Этот этап - то, что видят конечные пользователи, когда они используют модель машинного обучения в своей отрасли.
Типы машинного обучения
Машинное обучение с учителем
Контролируемое обучение - это место, где данные маркируются, и программа учится прогнозировать результат на основе входных данных.
Регрессия:
В задачах регрессии мы пытаемся предсказать непрерывное значение. Примеры:
- Какая цена на жилье в Токио?
- Какая ценность криптовалюты?
Классификация:
В задачах классификации мы пытаемся предсказать дискретное количество значений. Примеры:
- Это спам по электронной почте?
Неконтролируемое обучение
Неконтролируемое обучение - это тип машинного обучения, при котором модель изучает структуру данных на основе немаркированных примеров.
Кластеризация - это распространенный метод машинного обучения без учителя, который находит закономерности и структуры в немаркированных данных, группируя их в кластеры.
Примеры
- Потребительские сайты объединяют пользователей в кластеры для получения рекомендаций
- Поисковые системы группируют похожие объекты в один кластер.
Полу-контролируемое обучение
Алгоритмы контролируемого обучения обучаются на наборах данных, которые имеют метки, добавленные экспертами в предметной области. Неконтролируемые алгоритмы обучаются на немаркированных данных, чтобы определять важность функций по их собственным шаблонам с использованием данных.
Алгоритмы полууправляемого обучения обучаются на комбинации помеченных и немаркированных данных. Он состоит из небольшого количества помеченных данных и большого количества немаркированных данных.
Обучение с подкреплением
Обучение с подкреплением (RL) - это метод, который позволяет агенту учиться в интерактивной среде, используя обратную связь от его собственных действий и опыта. Он использует награды и наказания как сигналы для положительной и отрицательной обратной связи.
Обучение с подкреплением состоит из четырех основных элементов:
- Агент. Программа, которую вы обучаете для выполнения определенной задачи.
- Среда: место, где агент учится и выполняет действие.
- Состояние - это среда, в которой находится агент.
- Действие. Действие агента, изменяющее свое состояние в среде.
- Награды. Оценка действия, которая может быть положительной или отрицательной.
Спасибо, что прочитали мою статью. Буду рад услышать ваше мнение. Следуйте за мной на Medium, чтобы быть в курсе моих последних статей. Вы также можете связаться со мной в Linkedin и Twitter. Почитайте мои блоги о машинном обучении и глубоком обучении.
