Как правило, при обучении моделей больше параграфов и больше данных обеспечивает более высокую точность. существует явление, называемое эмерджентными способностями больших языковых моделей. Способность является эмерджентной, если она присутствует не в меньших моделях, а в более крупных моделях. "связь"
Пример эмерджентной способности показан выше. В этой таблице показано, что точность резко возрастает, если масштаб модели (параметры) становится очень-очень большим. Это момент, когда модель начинает эффективно учиться.
Эмерджентные способности не только в одном конкретном случае. мы могли видеть несколько задач, которые модель плохо учит, но при масштабировании модель paras начинает обучаться экспоненциально. такие методы, как Цепочка мыслей, Настройка инструкций, Блокнот, Калибровка, которые позволяют реализовать новые способности. Интересно отметить, что калибровка — это способ сказать, что если модель знает, что она говорит, исследование показывает, что большая модель знает, что она говорит (достоверность), в то время как меньшая модель иногда просто генерирует токен случайного слова (более низкая достоверность).
мы знаем, что в целом размер модели коррелирует с производительностью, всегда ли это верно?
inverse-price проводит конкурс, чтобы выяснить, есть ли задачи, в которых размер модели не коррелирует с производительностью, ниже мы перечислили несколько примеров, раскрывающих этот фономон.
Однако настоящая работа раскрывает, что такое U-образное скалирование. Производительность снижается до определенного размера модели, но снова увеличивается, если размер модели превышает этот. Короче говоря, по-прежнему большая модель коррелирует с производительностью. но это также раскрывает больше исследовательских вопросов?
при обучении моделей LLM, если производительность плохая из-за размера модели? о каком большом мы говорим и как его улучшить? Всегда ли стоит пробовать крупномасштабную модель?
Ссылка: https://www.youtube.com/watch?v=SaZTJJNOCOY&list=PLJV_el3uVTsOePyfmkfivYZ7Rqr2nMk3W&index=11&t=3s
