Квоты, стоимость, задержка: практические проблемы использования предложения Microsoft GPT-4
Мы все знаем о прорывах и шумихе вокруг моделей ChatGPT и OpenAI GPT-4. Тем не менее, очень немногие обсуждают практические ограничения и проблемы, связанные с этими инструментами, когда речь идет о создании корпоративных приложений. Сегодня я постараюсь пролить свет на эти области.
Реальность такова, что ограничения настолько значительны, что подталкивают к более широкому внедрению альтернатив с открытым исходным кодом в обозримом будущем.
В настоящее время большинство крупных компаний тяготеют к облачным службам Microsoft Azure для вариантов разработки и развертывания GPT-4. Причина довольно проста: Microsoft просто более доступна, чем OpenAI, которой в настоящее время не хватает инфраструктуры и рабочей силы для решения корпоративных сложностей. Однако похоже, что многие компании не изучили мелкий шрифт предложения Microsoft. По сути, при создании корпоративных решений с моделями GPT-4 в Azure вы столкнетесь с тремя серьезными проблемами: квоты, стоимость и задержка. Давайте обсудим каждый.
Квоты: Microsoft накладывает значительные ограничения на то, что вы можете делать с моделями GPT-4. Например, использование GPT-4 ограничено 18 запросами в минуту. Очевидно, что при таких жестких ограничениях вы можете создавать простые точечные решения только для одной небольшой рабочей группы.
Стоимость: от 3 до 12 центов за 750 слов, в зависимости от контекста при работе с API GPT-4. Таким образом, сообщение в блоге такой длины будет стоить около 10 центов. Когда вы масштабируете это для обучения и развертывания модели для любого типа корпоративного приложения, выполняющего тысячи транзакций в минуту, эти затраты могут быстро стать значительными.
Задержка: вы заметили, что игра с ChatGPT, GPT-4 может быть медленной? Для этого нет простого решения с использованием традиционных решений для облачного масштабирования. GPT-4 должен генерировать свои выходные данные последовательно, модели потребляют много памяти, и вы не можете использовать такие методы, как кэширование, для улучшения результатов. Учитывая эти факторы, неудивительно, что Microsoft не рекламирует никаких соглашений об уровне обслуживания, связанных с этими API.
По мере того, как основные поставщики облачных услуг наращивают темпы роста, эти показатели быстро улучшатся на порядки. Тем не менее, этот прогресс может быть слишком медленным, чтобы не отставать от спроса, главным образом потому, что мы начинаем с довольно сложной позиции, а спрос будет безумным. Чтобы начать экспериментировать и разрабатывать решения, которые могут решить ваши реальные проблемы, вам, вероятно, понадобится локализованный вариант, в идеале на настольных компьютерах вашей команды разработчиков. Эта потребность, вероятно, будет стимулировать спрос на альтернативы с открытым исходным кодом просто потому, что другого жизнеспособного варианта может и не быть.
Смотрите мой полный анализ по этой теме на YouTube:
