Публикации по теме 'overfitting'
Подготовка к интервью ML — популярные вопросы
Как предотвратить переобучение?
Мы можем наблюдать переоснащение, когда наша модель слишком сложна или данные слишком малы: она хорошо работает с обучающими данными и плохо работает с данными, которые она не видела. Это также означает, что существует высокая дисперсия и небольшое смещение, мы обсудим это немного ниже.
Конечно, есть лекарство:
«Важность управления предвзятостью и дисперсией в машинном обучении»
Эта статья является частью серии:
«Начало работы с машинным обучением: пошаговое руководство »
Предвзятость
В машинном обучении предвзятость относится к неспособности модели уловить истинную связь между входными данными и выходными метками. Например, если мы пытаемся предсказать рост кошек на основе их веса и используем модель линейной регрессии, прямая линия никогда не сможет отразить истинное соотношение между весом и ростом, потому что она не может изгибаться, как истинное..
Преодоление переобучения с помощью регуляризации
Переобучение — очень распространенная проблема в задачах машинного обучения, но с ней может быть довольно сложно справиться. Отбрасывание некоторых признаков, которые не важны, — это простой способ справиться с переоснащением, но как насчет регуляризации?
Регуляризация похожа на лекарство от нашей склонности подстраиваться или отвлекаться на шум в наших данных. Если наша модель изучает этот шум, это не имеет смысла, поскольку эти точки данных на самом деле не отражают истинные свойства..
Несколько проблем в машинном обучении
Недостаточное количество обучающих данных Данные низкого качества Нерелевантные функции Переоснащение обучающих данных Недостаток тренировочных данных
Недостаточное количество обучающих данных
Ребенок может выучить вещь, если ее произнести один раз или несколько раз. Например, чтобы ребенок узнал, что такое мяч, все, что нам нужно, - это указать на мяч и сказать «мяч» (один или несколько раз). Тогда ребенок сможет распознавать мяч. А машинного обучения пока нет; Для..
Известный компромисс смещения и дисперсии
Есть три типа ошибок предсказания:
1. Неприводимая ошибка
2. Ошибка смещения
3. Ошибка отклонения
Неприводимая ошибка:
Неприводимая ошибка - это ошибка, которую нельзя исправить. Это вызвано факторами, которые находятся вне нашего контроля, такими как случайный шум.
Предвзятость:
Разница между фактическими и наиболее подходящими значениями линии / кривой (прогнозируемыми значениями) в наборе данных с помощью алгоритма машинного обучения известна как смещение. Смещение - это..
Проблемы приспособленности целевой функции в машинном обучении
Пригодность целевой функции, аппроксимируемой алгоритмом обучения, определяет, насколько правильно она способна классифицировать набор данных, который никогда не видел.
Недооснащение:
Если целевая функция слишком проста, она может не улавливать существенные нюансы и хорошо представлять лежащие в основе данные.
Пример: при попытке представить нелинейные данные с помощью линейной модели
Недообучение происходит из-за отсутствия достаточных обучающих данных.
Недооснащения можно..
Прогноз популярности песни
Введение:
Как композитор, вы всегда будете обеспокоены тем, понравится ли ваша песня вашей аудитории или нет, поэтому мы пытаемся сделать это с помощью машинного обучения, которое предсказывает популярность песни на основе таких характеристик, как акустика. , танцевальность, тональность, громкость и т. д.
Это было соревнование Kaggle, организованное разработчиками Google и Абхишеком Тхакуром, первым в мире 4-кратным гроссмейстером Kaggle. В соревновании приняли участие 535 команд, а..
