Сегодня AWS выпустила Model Server for Apache MXNet (MMS) v0.4, в котором добавлена поддержка для обслуживания моделей Gluon. Gluon - это обязательный и динамический интерфейс для MXNet, который позволяет быстро разрабатывать модели, сохраняя при этом производительность MXNet. В этом выпуске MMS добавляет поддержку упаковки и обслуживания моделей Gluon в любом масштабе. В этом сообщении блога мы подробно опишем выпуск v0.4 и рассмотрим пример использования модели Gluon.
Что такое модельный сервер для Apache MXNet (MMS)?
MMS - это платформа для обслуживания моделей с открытым исходным кодом, призванная упростить задачу масштабного обслуживания моделей глубокого обучения. Вот некоторые ключевые преимущества MMS:
- Предоставляет инструмент упаковки для создания архива модели, содержащего артефакты модели нейронной сети, необходимые для обслуживания моделей нейронных сетей MXNet, Gluon и ONNX.
- Дает вам возможность настраивать каждый шаг в конвейере выполнения вывода с помощью настраиваемого кода, упакованного в архив модели, что позволяет переопределить инициализацию, предварительную обработку и постобработку.
- Поставляется с предварительно настроенным стеком обслуживания, включая конечные точки REST API и механизм вывода.
- Предоставляет готовые и оптимизированные образы контейнеров для обслуживания масштабируемых моделей.
- Включает операционные метрики в реальном времени для мониторинга сервера и его конечных точек.
Что такое глюон?
Gluon - это понятный, лаконичный и простой интерфейс Python для MXNet. Это позволяет инженерам писать императивный код для построения нейронных сетей, не теряя при этом преимуществ символьной реализации в производительности. Gluon способен автоматически генерировать оптимизированный символьный код на основе императивной реализации. Начните работу с Gluon с нашего 60-минутного ускоренного курса.
Обслуживание глюоновой модели в MMS
Пошаговый пример обслуживания Сверточной нейронной сети на уровне символов (char-CNN) Сян Чжана доступен в репозитории GitHub и в этом сообщении в блоге AWS AI.
Попробуйте!
Узнайте больше и внесите свой вклад
Чтобы узнать больше о MMS, начните с нашего Учебного пособия по однократному обнаружению нескольких объектов (SSD), в котором вы узнаете, как экспортировать и обслуживать модель SSD. Вы можете найти больше примеров и документации в зоопарке моделей и папке документации репозитория.
Поскольку мы продолжаем развивать MMS, мы приветствуем участие сообщества, представленное в виде вопросов, запросов и предложений. Если вы уже используете MMS, мы будем рады вашим отзывам через репозиторий GitHub issues. Перейдите к awslabs / mxnet-model-server, чтобы начать. Если у вас возникнут дополнительные вопросы, задавайте вопросы на дискуссионном форуме MXNet.
Цитирование набора данных
Взлеты и падения: моделирование визуальной эволюции модных тенденций с помощью универсальной совместной фильтрации R. He, J. McAuley WWW, 2016, pdf