Прежде чем мы перейдем к экспериментам, стоит немного напомнить о переоснащении и недообучении.

Все эксперименты должны проводиться на разных частях ваших данных.

  • Набор данных для обучения. Используйте этот набор для обучения модели, 70–80 % ваших данных являются стандартными.
  • Набор данных для проверки/разработки. Используйте этот набор для настройки гиперпараметров модели и оценки экспериментов. 10–15 % ваших данных — это стандарт.
  • Набор тестовых данных. Используйте этот набор для тестирования и сравнения моделей. 10–15 % ваших данных — это стандарт.

Эти суммы могут незначительно колебаться в зависимости от вашей проблемы и имеющихся у вас данных.

Низкая производительность на обучающих данных означает, что модель не обучена должным образом и недостаточно подходит. Попробуйте другую модель, улучшите существующую с помощью гиперпараметров или соберите больше данных.

Высокая производительность на обучающих данных, но низкая производительность на тестовых данных означает, что ваша модель плохо обобщается. Возможно, ваша модель подгоняет обучающие данные. Попробуйте использовать более простую модель или убедитесь, что ваши тестовые данные имеют тот же стиль, что и ваша модель.

Другой формой переобучения может быть повышение производительности тестовых данных по сравнению с данными обучения. Это может означать, что ваши тестовые данные просачиваются в ваши обучающие данные (неправильное разделение данных) или вы потратили слишком много времени на оптимизацию своей модели для данных тестового набора. Убедитесь, что наборы обучающих и тестовых данных всегда хранятся отдельно, и избегайте оптимизации производительности моделей в тестовом наборе (используйте наборы обучающих и проверочных данных для улучшения модели).

Низкая производительность после развертывания (в реальном мире) означает, что есть разница в том, на чем вы обучали и тестировали свою модель, и в том, что происходит на самом деле. Убедитесь, что данные, которые вы используете во время экспериментов, совпадают с данными, которые вы используете в рабочей среде.