Имеет ли значение потеря оценки при обучении чат-ботов (с QLoRA)? tldr ; QLoRA — это метод тонкой настройки LLM в домашних условиях. Также дома вы сталкиваетесь с рядом тренировочных гиперпараметров, влияющих на качество вашей модели. О качестве модели чат-ботов судить непросто, часто используемая потеря оценки метрики начинает увеличиваться на ранних этапах обучения. Означает ли это, что ваш чат-бот становится хуже, если вы продолжаете тренироваться? Кажется, что ответ «Нет»...