Сквозное машинное обучение и автоматизация конвейера — популярная тема в наши дни в сообществе специалистов по данным и инженеров. Компании внедряют все больше моделей в производство, а также постоянно модернизируют, переобучают и повторно калибруют свои модели, чтобы поддерживать их максимальную производительность.
Удивительно видеть полностью автоматизированный сквозной конвейер в действии. Наблюдение за тем, как он извлекает последние данные, выполняет предварительную обработку и разработку функций, выбирает лучшую модель и, наконец, обновляет производственную конечную точку — все это также может запускаться автоматически из-за разрушения модели в процессе производства. Расширенная автоматизация машинного обучения в масштабе — это важный эволюционный шаг, который радикально изменит индустрию искусственного интеллекта.
Одна из проблем с автоматизацией развертывания и переобучения моделей заключается в том, что мы думаем о моделях как о программном обеспечении, которое таковым не является. Машинное обучение добавляет неопределенности в ваш программный стек. Неважно, насколько точна ваша модель или насколько вы в ней уверены — небольшое изменение данных может привести к предвзятости или повлиять на решения модели, что в конечном итоге повлияет на ваших пользователей, их опыт и бизнес-результаты. Для корпораций важно поддерживать высочайший уровень управления своими приложениями ИИ и выполнять ответственную автоматизацию ИИ и машинного обучения, чтобы держать модели под контролем. Вот почему cnvrg.io выпускает новые функции для обеспечения сквозного управления на протяжении всего жизненного цикла машинного обучения.
Ответственная автоматизация искусственного интеллекта и машинного обучения с помощью проверки вручную
Мы разработали новую основу для создания, развертывания и автоматизации конвейеров машинного обучения: проверка человеком. Платформа, которая обеспечивает автоматизацию высокого уровня (или полную автоматизацию) с возможностью привлечения человека для утверждения производственного развертывания, обеспечивая быстрое и ответственное развертывание машинного обучения.
Точно так же, как слияние PR в git может запустить конвейер CD, вышеупомянутая структура позволит вам просмотреть модель и ее отчет (данные, алгоритмы, гиперпараметры и метрики) перед ее развертыванием в производственной среде. cnvrg.io поставляется в комплекте со 100% воспроизводимой наукой о данных, автоматизацией конвейера машинного обучения и развертыванием модели, что обеспечивает полный конвейер машинного обучения CICD с проверкой человеком.
Как это работает?
Вот реальный пример того, как эту функцию можно использовать с cnvrg.io. Предположим, у нас есть следующий набор конвейеров: механизм рекомендаций, созданный путем приема данных из S3 и BigQuery, выполнения предварительной обработки с использованием Spark в Kubernetes с последующим обучением модели с использованием TensorFlow и XGBoost на кластерах GPU и CPU. Наконец, cnvrg.io выберет самую эффективную модель, и конечная точка Kubernetes будет переведена на модель чемпиона. Этот конвейер работает на программируемой периодической основе — в данном случае раз в неделю. Он на 100 % автоматизирован: каждую неделю он извлекает последние данные, повторно обучает и повторно развертывает модель.
Мы добавим механизм, гарантирующий, что каждый раз, когда новая модель будет готова к развертыванию, она должна быть явно одобрена соответствующим специалистом по данным или менеджером по продукту. В этом примере мы развертываем механизм рекомендаций. Наш механизм рекомендаций используется миллионами пользователей, и мы хотим быть уверены, что любое производственное обновление подвергается тщательной критике перед выпуском.
С проверкой человеком cnvrg.io мы можем обновить задачу развертывание и добавить условие, что она инициирует развертывание только после того, как человек проверит ее и даст одобрение:
Этот поток также можно изменить с помощью файла конфигурации YAML, добавив в задачу следующее условие:
objective: human_validation target: username,username2
Затем каждый раз, когда конвейер запускается и достигает компонента развертывания, он отправляет по электронной почте назначенным лицам, принимающим решения, «имя пользователя, имя пользователя2», предупреждая их о том, что задача ожидает их утверждения. Затем они могут проверить модель и либо одобрить развертывание, либо запретить продвижение потока.
Хотите создать собственные конвейеры машинного обучения? Начните бесплатно с cnvrg.io CORE — платформы сообщества ML и MLOps, работающей на Kubernetes: https://cnvrg.io/platform/core/
