Публикации по теме 'model-serving'


Обслуживайте модели MLFlow в Kubernetes  —  автоматическое развертывание ваших производственных моделей с легкостью
ML Flow — это удивительный инструмент, который будет служить практикующим специалистам по машинному обучению на нескольких уровнях при построении сквозного жизненного цикла машинного обучения. С помощью инструментов, которые входят в комплект поставки ML Flow, мы можем настроить компоненты, которые будут регистрировать ваши эксперименты с машинным обучением, а также моделировать, просматривать и помечать модели, а также легко перемещать их в производство для получения логических выводов..

Производить модели ML/DL проще простого: BentoML
Модель ML/DL обучена и готова, но действительно ли она готова к внедрению в рабочую среду? Команды по науке о данных и специалисты по данным в организации разрабатывают модели ML/DL, необходимые для их вариантов использования, создавая либо пользовательские, либо точно настроенные предварительно обученные модели с достаточно быстрым оборотом. Однако для отправки моделей в производство требуется почти вечность (в большинстве случаев время, необходимое для производства модели,..

Почему люди говорят, что так сложно развернуть модель машинного обучения в производстве?
Вы слышали, как это говорили, слышали, как это писали, и вы слышали, как это пели с крыш аналитики и поставщики в равной степени: 87% проектов по науке о данных никогда не переходят в производство . Почему это? Ну, конечно, всегда по-разному, но чуть более точный ответ заключается в том, что создание сервисов машинного обучения сложнее, чем создание других типов программного обеспечения. В то время как приложения ML имеют многие из тех же сложностей, что и традиционные проекты..

Развертывание модели с помощью TorchServe
Краткий обзор . Разверните экземпляр обученной модели ConvNeXt-B на TorchServe для классификации изображений в реальном времени с использованием категорий, представленных в наборе данных Food 101. TorchServe — это платформа для беспрепятственного и эффективного обслуживания моделей, обученных pyTorch. В этом руководстве мы рассмотрим шаги по развертыванию модели PyTorch локально и в контейнере Docker. Настройка среды: Мы используем Anaconda для управления библиотеками в python...

Orca: как обслуживать крупномасштабные модели-трансформеры
В последнее время модели-трансформеры трансформируют ландшафт глубокого обучения, особенно обработки естественного языка, благодаря их превосходному отслеживанию взаимосвязей между последовательными данными, такими как слова в предложении. Среди некоторых популярных предварительно обученных трансформеров — PaLM от Google (Chowdhery et al, 2022 ), Gopher от DeepMind (Rae et al, 2022 ) и OPT от Facebook (Zhang et al, 2022 ). С другой стороны, эти современные модели могут быть..

В Model Server для Apache MXNet добавлена ​​поддержка моделей Gluon.
Сегодня AWS выпустила Model Server for Apache MXNet (MMS) v0.4, в котором добавлена ​​поддержка для обслуживания моделей Gluon. Gluon - это обязательный и динамический интерфейс для MXNet, который позволяет быстро разрабатывать модели, сохраняя при этом производительность MXNet. В этом выпуске MMS добавляет поддержку упаковки и обслуживания моделей Gluon в любом масштабе. В этом сообщении блога мы подробно опишем выпуск v0.4 и рассмотрим пример использования модели Gluon. Что такое..