Microsoft Azure
Microsoft Azure, ранее известная как Windows Azure, - это платформа общедоступных облачных вычислений от Microsoft. Он предоставляет ряд облачных сервисов, в том числе для вычислений, аналитики, хранения и работы в сети. Пользователи могут выбирать из этих сервисов для разработки и масштабирования новых приложений или запуска существующих приложений в общедоступном облаке.
Microsoft Azure широко считается предложением как «Платформа как услуга» (PaaS), так и «Инфраструктура как услуга» (IaaS).
В этой статье мы познакомимся со службами машинного обучения Microsoft Azure и вариантами развертывания.
Машинное обучение
Машинное обучение (ML) - это категория алгоритмов, которые позволяют программным приложениям более точно прогнозировать результаты без явного программирования. Основная предпосылка машинного обучения - создание алгоритмов, которые могут получать входные данные и использовать статистический анализ для прогнозирования выходных данных при обновлении выходных данных по мере появления новых данных.
Microsoft Azure и машинное обучение
Машинное обучение Microsoft Azure - это набор служб и инструментов, предназначенных для помощи разработчикам в обучении и развертывании моделей машинного обучения. Microsoft предоставляет эти инструменты и услуги через свое общедоступное облако Azure.
Студия машинного обучения - это место, где встречаются наука о данных, прогнозная аналитика, облачные ресурсы и ваши данные.
Службы машинного обучения Azure
Пакет машинного обучения Microsoft Azure включает в себя ряд инструментов и услуг, в том числе:
Azure Machine Learning Workbench: Workbench - это приложение для конечных пользователей Windows / MacOS, которое выполняет основные задачи проекта машинного обучения, включая импорт и подготовку данных, разработку моделей, управление экспериментами и развертывание моделей в нескольких средах. Workbench взаимодействует с основными сторонними инструментами, включая Git для контроля версий и Jupyter Notebook для очистки и преобразования данных, статистического моделирования и визуализации данных.
Служба экспериментов по машинному обучению Azure. Эта служба взаимодействует с Workbench и обеспечивает управление проектами, контроль доступа и контроль версий (через Git). Это помогает поддерживать выполнение экспериментов с машинным обучением для создания и обучения моделей. Эксперименты также сосредоточены на создании виртуализированных сред, что позволяет разработчикам должным образом изолировать и управлять моделями, а также записывать детали каждого запуска, чтобы помочь в разработке модели. Эксперименты позволяют развертывать модели локально, в локальном контейнере Docker, контейнере Docker на удаленной виртуальной машине (ВМ) и через горизонтально масштабируемый кластер Spark, работающий в Azure.
Управление моделями машинного обучения Azure: эта служба помогает разработчикам отслеживать версии моделей и управлять ими; регистрировать и хранить модели; обрабатывать модели и зависимости в файлы образов Docker; зарегистрировать эти образы в собственном реестре Docker в Azure; и развернуть эти образы контейнеров в широком спектре вычислительных сред, включая периферийные устройства IoT.
Библиотеки машинного обучения Microsoft для Apache Spark (MMLSpark): MMLSpark предоставляет ряд инструментов, которые интегрируют конвейеры Spark со связанными инструментами машинного обучения, включая Microsoft Cognitive Toolkit и библиотеку OpenCV. Эти библиотеки ускоряют разработку моделей машинного обучения, включающих изображения и текстовые данные.
Инструменты Visual Studio Code для AI: эта служба является расширением Visual Studio Code (VS Code) - настольного редактора исходного кода для Windows, macOS и Linux, который помогает разработчикам создавать сценарии и собирать показатели для Azure. Эксперименты по машинному обучению.
Студия машинного обучения Azure. Это визуальный инструмент с возможностью перетаскивания, предназначенный для помощи пользователям в создании и развертывании моделей прогнозного анализа без необходимости программирования.
Варианты развертывания машинного обучения Azure
Специалисты по обработке данных и разработчики могут использовать инструменты машинного обучения Microsoft Azure для создания и развертывания моделей локально, в облаке Azure и на периферии с помощью граничных вычислений Azure IoT. Однако Azure также предлагает несколько вариантов высокопроизводительного развертывания, в том числе:
Виртуальные машины с графическими процессорами (GPU): виртуальные машины Azure, предназначенные для выполнения проектов машинного обучения, все чаще используют графические процессоры, а не более традиционные центральные процессоры (ЦП), поскольку они могут обрабатывать сложные математические и параллельная обработка, необходимая для эффективного рендеринга изображений - функция, которая идеально подходит для многих вычислений с искусственным интеллектом и машинным обучением.
Программируемые вентильные матрицы (ПЛИС) как услуга: микросхемы ПЛИС можно программировать с использованием моделей машинного обучения, что позволяет моделям работать со скоростью аппаратного обеспечения компьютера и значительно повышает производительность машинного обучения и анализа данных. проекты. Услуги FPGA в настоящее время ограничиваются поддержкой проектов по классификации и распознаванию изображений на основе TensorFlow и ResNet50.
Сервер машинного обучения Microsoft: этот вариант развертывания предоставляет сервер корпоративного класса, специально предназначенный для распределенных высокопараллельных рабочих нагрузок, разработанных на таких языках, как R или Python. Он предназначен для таких задач, как высокопроизводительная аналитика, машинное обучение и анализ данных, и работает в Linux, Windows, Hadoop и Apache Spark.
Виртуальная машина для анализа данных Azure. Это виртуальная машина в Azure, предназначенная для проектов в области анализа данных под Windows Server, Ubuntu Linux и OpenLogic CentOS. Он включает в себя инструменты для анализа данных и разработки, и предприятия могут использовать его для создания приложений для анализа данных и машинного обучения. Разработчики могут вызывать виртуальные машины Azure Data Science из инструментов экспериментов или моделирования Azure.
Машинное обучение Microsoft Azure интегрируется с множеством платформ и фреймворков машинного обучения, многие из которых имеют открытый исходный код. Помимо Microsoft Cognitive Toolkit, фреймворки поддержки включают Spark ML, TensorFlow и scikit-learn framework.
