Сегодня AWS выпустила Model Server for Apache MXNet (MMS) v0.4, в котором добавлена ​​поддержка для обслуживания моделей Gluon. Gluon - это обязательный и динамический интерфейс для MXNet, который позволяет быстро разрабатывать модели, сохраняя при этом производительность MXNet. В этом выпуске MMS добавляет поддержку упаковки и обслуживания моделей Gluon в любом масштабе. В этом сообщении блога мы подробно опишем выпуск v0.4 и рассмотрим пример использования модели Gluon.

Что такое модельный сервер для Apache MXNet (MMS)?

MMS - это платформа для обслуживания моделей с открытым исходным кодом, призванная упростить задачу масштабного обслуживания моделей глубокого обучения. Вот некоторые ключевые преимущества MMS:

  • Предоставляет инструмент упаковки для создания архива модели, содержащего артефакты модели нейронной сети, необходимые для обслуживания моделей нейронных сетей MXNet, Gluon и ONNX.
  • Дает вам возможность настраивать каждый шаг в конвейере выполнения вывода с помощью настраиваемого кода, упакованного в архив модели, что позволяет переопределить инициализацию, предварительную обработку и постобработку.
  • Поставляется с предварительно настроенным стеком обслуживания, включая конечные точки REST API и механизм вывода.
  • Предоставляет готовые и оптимизированные образы контейнеров для обслуживания масштабируемых моделей.
  • Включает операционные метрики в реальном времени для мониторинга сервера и его конечных точек.

Что такое глюон?

Gluon - это понятный, лаконичный и простой интерфейс Python для MXNet. Это позволяет инженерам писать императивный код для построения нейронных сетей, не теряя при этом преимуществ символьной реализации в производительности. Gluon способен автоматически генерировать оптимизированный символьный код на основе императивной реализации. Начните работу с Gluon с нашего 60-минутного ускоренного курса.

Обслуживание глюоновой модели в MMS

Пошаговый пример обслуживания Сверточной нейронной сети на уровне символов (char-CNN) Сян Чжана доступен в репозитории GitHub и в этом сообщении в блоге AWS AI.

Попробуйте!

Узнайте больше и внесите свой вклад

Чтобы узнать больше о MMS, начните с нашего Учебного пособия по однократному обнаружению нескольких объектов (SSD), в котором вы узнаете, как экспортировать и обслуживать модель SSD. Вы можете найти больше примеров и документации в зоопарке моделей и папке документации репозитория.

Поскольку мы продолжаем развивать MMS, мы приветствуем участие сообщества, представленное в виде вопросов, запросов и предложений. Если вы уже используете MMS, мы будем рады вашим отзывам через репозиторий GitHub issues. Перейдите к awslabs / mxnet-model-server, чтобы начать. Если у вас возникнут дополнительные вопросы, задавайте вопросы на дискуссионном форуме MXNet.

Цитирование набора данных

Взлеты и падения: моделирование визуальной эволюции модных тенденций с помощью универсальной совместной фильтрации R. He, J. McAuley WWW, 2016, pdf