Да, если у вас достаточно оперативной памяти процессора
В мае 2023 года Институт технологических инноваций (TII) Абу-Даби выпустил двух предварительно обученных LLM: Falcon-7B и Falcon-40B, а также их версии для чата. Эти две модели продемонстрировали очень хорошую производительность и заняли первое место в таблице лидеров OpenLLM.
Третья модель, выпущенная TII, только что присоединилась к семейству Falcon: Falcon 180B, модель со 180 миллиардами параметров. У него на 2,5 параметра больше, чем у Llama 2 70B и на 4,5 больше, чем у Falcon-40B.
Вот несколько фактов о Falcon 180B (источник: Карта модели Falcon 180B):
- Предварительное обучение на 3,5 триллионах токенов (RefinedWeb)
- Распространяется с лицензией Apache 2.0.
- Имеет размер 360 ГБ.
- Занимает первое место (по состоянию на 11 сентября 2023 г.) в таблице лидеров OpenLLM:
Существует также версия чата. Модели доступны в хабе Hugging Face:
Falcon 180B абсолютно бесплатен и современен. Но это также огромная модель.
Может ли он работать на вашем компьютере?
Если ваш компьютер не готов к очень интенсивным вычислениям, он не сможет запустить Falcon 180B «из коробки». Вам нужно будет обновить свой компьютер и использовать квантованную версию модели.
В этой статье я объясняю, как запустить Falcon-180B на потребительском оборудовании. Мы увидим, что запуск модели со 180 миллиардами параметров на современном компьютере может быть вполне доступным. Я также обсуждаю несколько методов, которые помогают снизить требования к оборудованию.
Загрузка Falcon 180B на компьютер: что вам нужно?
Первое, что вам нужно знать, это то, что Falcon 180B имеет 180 миллиардов параметров, хранящихся как bfloat16. Параметр (b)float16 занимает 2 байта в памяти.
Когда вы загружаете модель, стандартный конвейер Pytorch работает следующим образом:
- Создается пустая модель: 180B параметров * 2 байта = 360 ГБ.
