Разрыв между коммерческими и некоммерческими LLM быстро сокращается. Благодаря фантастической работе проекта OpenLLaMA теперь имеется высококачественный коммерчески жизнеспособный базовый LLM с параметрами 7B, который может соответствовать современным моделям аналогичного размера в академических тестах (включая оригинальный LLaMA- 7В из Меты).



VMware/open-llama-7b-open-instruct · Обнимающее лицо
Редактировать карточку модели Версия полностью обученной модели Open LLama 7B с инструкциями. Модель открыта для КОММЕРЦИИ…huggingface.co



Мы основываемся на этой работе, настраивая эту модель с помощью инструкций с использованием набора данных VMware/Open-instruct-v1 (объединяющего oasst1, Dolly и hh-rlhf), расширяя mosaicml/dolly_hhrlhf, который содержит 63 000 созданных человеком подсказок. -комплектация пар. Результатом этого является коммерчески жизнеспособный LLM с отслеживанием инструкций, open-llama-7b-open-instruct, который может принимать подсказки с инструкциями так же, как вы взаимодействовали с такими моделями, как ChatGPT, Vicuna или MPT. .

Внутренне мы заметили, что эта модель OpenLLaMA, настроенная с помощью инструкций, соответствует некоммерческим моделям с открытым исходным кодом аналогичного размера в наших внутренних тестах, и в ближайшее время мы планируем дополнительные тесты с использованием общедоступных наборов данных. Хотя эта модель уступает LLM, прогресс OSS ускоряется, и это еще один шаг вперед в демократизации ИИ, демонстрирующий жизнеспособность моделей с открытым исходным кодом для коммерческого использования без необходимости делать большой компромисс в отношении качества.

Нашими ближайшими следующими шагами являются обновление модели Open-LLaMA для поддержки режима диалога для обработки многооборотных взаимодействий и дополнительное обучение для улучшения базовой модели. В то же время мы с нетерпением ждем предстоящего выпуска OpenLLaMA 13B и улучшений, которые он принесет по сравнению с текущей моделью 7B.

Возвращайтесь, как только мы сделаем эти новые модели и код тонкой настройки доступными для исследовательского сообщества для дальнейшей разработки. Мы рады видеть, что ждет в будущем OSS LLM и их приложения в различных областях.

Подтверждение

Хочу выразить благодарность Steve Liang за помощь в составлении этой статьи!

Примечание. Мы использовали VMware/Open-LLama-7b-Open-Instruct для создания черновика шаблона для этой статьи, а затем изменили его.