Я знаю, как раздражает не понимать, что делать дальше после того, как вы подогнали модель к обучающему набору данных. Вы должны знать, как оценить точность вашей модели и кривые потерь. Эти кривые обучения помогут вам сделать следующий шаг.
Ключевыми аспектами здесь являются проверка того, является ли модель недостаточной или чрезмерной, или какой-то странный призрак напал на вашу модель, и кривая стала чертовски зигзагообразной. Что это значит? Что, черт возьми, здесь происходит?
Начнем расследование для наиболее возможных случаев.
Переобучение –
Легко! Его легко идентифицировать. Если потери при проверке больше, чем потери при обучении, а точность проверки меньше, чем точность обучения.
Кривая будет выглядеть следующим образом:
Лечение: методы регуляризации
Недостаточное соответствие.
Недостаточное соответствие означает, что модель не соответствует предоставленным вами данным должным образом. Ему еще предстоит узнать больше.
Кривая будет выглядеть так:
Решение:
1. Уменьшить скорость обучения
2. Обучить большее количество эпох
3. Использовать маленькую архитектуру (уменьшить количество слоев)
Зигзаг —
Если кривая зигзагообразная и странная, проблема в основном зависит от предоставленных вами данных.
Если и кривая обучения, и кривая проверки являются зигзагообразными, это означает, что модель не смогла изучить какой-либо шаблон из ваших обучающих данных. Очевидно, что если он не сможет изучить какой-либо шаблон, он будет вести себя странно и во время проверки. Он будет предсказывать случайным образом, поскольку не знает, как предсказывать, а кривая зигзагообразна.
Если кривая обучения обучения улучшается, а кривая проверки имеет зигзагообразный характер, это означает, что данные проверки не представляют данные обучения. Очевидно, если вы обучаете модель на наборе данных о кошках и не можете ожидать, что она будет нормально работать с набором данных для проверки слонов.
Избыточные данные
Приведенные ниже графики показывают, что данные проверки слишком легко предсказать. Это может быть связано с тем, что данные проверки очень похожи на данные обучения. Иногда могут быть избыточные данные.
Решение этой проблемы зависит от вашего варианта использования. Если это нормально иметь похожие данные, то это нормально. Но если в режиме реального времени вы видите разные данные, то это плохой знак.
Вот некоторые ситуации, которые вы могли бы увидеть во время обучения вашей модели. И я надеюсь, что это полезно.
Ваше здоровье!
Удачного гипертюнинга 💚
