Используя лучшие инструменты, платформы и фреймворки MLOps с открытым исходным кодом, такие как те, что описаны в этой статье, вы можете использовать масштабируемость и гибкость, предлагаемые MLOps, в рабочих процессах машинного обучения.

Эта статья изначально была опубликована на сайте The Chief I / O: 10 лучших инструментов MLOps с открытым исходным кодом

MLOps означает совместное использование DevOps и машинного обучения для создания надежной системы автоматизации, отслеживания, конвейерной обработки, мониторинга и упаковки для моделей машинного обучения.

Инструменты MLOps с открытым исходным кодом дают пользователям свободу пользоваться автоматизацией и гибкостью, предлагаемыми MLOps, не тратя целое состояние.

Ниже приведены 10 лучших инструментов MLOps с открытым исходным кодом, расположенные в порядке их количества звезд на GitHub.

Kubeflow

Kubeflow - это полноценный инструмент MLOps с открытым исходным кодом, который упрощает оркестровку и развертывание рабочих процессов машинного обучения. Kubeflow предоставляет специализированные услуги и интеграцию для различных этапов машинного обучения, включая обучение, создание конвейера и управление записными книжками Jupyter.

Он интегрируется с различными фреймворками, такими как Istio, а также легко справляется с учебными задачами TensorFlow.

У Kubeflow более 10,3 тыс. Звезд и 222 участника на GitHub, что дает ему первое место в этом списке.

MLFlow

MLFlow - это платформа управления жизненным циклом машинного обучения с открытым исходным кодом, которая предлагает различные компоненты для отслеживания экспериментов, упаковки проекта, развертывания модели и реестра. MLFlow интегрируется с различными библиотеками машинного обучения, включая TensorFlow и Pytorch, для оптимизации обучения, развертывания и управления приложениями машинного обучения.

MLFlow, изначально написанный на Python и JavaScript, имеет более 9 тысяч звезд и 296 участников проекта на GitHub.

Контроль версий данных (DVC)

DVC - это инструмент с открытым исходным кодом, написанный на языке Python для проектов Data Science и Machine Learning. Для управления наборами данных и моделей машинного обучения и управления ими используется модель, подобная Git. DVC - это простой инструмент командной строки, который позволяет совместно использовать и воспроизводить проекты машинного обучения.

DVC - это регулярно обновляемый инструмент, набравший более 7,9 тысяч звезд и 212 участников на GitHub.

Толстокожий

Как и DVC, Pachyderm - это инструмент контроля версий для машинного обучения и анализа данных. Кроме того, он построен на Docker и Kubernetes, что помогает запускать и развертывать проекты машинного обучения на любой облачной платформе. Pachyderm гарантирует, что все данные, поступающие в модель машинного обучения, версируются и отслеживаются.

Pachyderm - это инструмент машинного обучения с открытым исходным кодом, написанный на Golang и имеющий более 5000 звезд на GitHub.

Метафлоу

Metaflow - это платформа MLOps с открытым исходным кодом, изначально разработанная Netflix. Это инструмент, написанный на Python / R, который упрощает создание корпоративных проектов Data Science и управление ими.

Metaflow объединяет библиотеки машинного обучения, глубокого обучения и больших данных на основе Python для эффективного обучения, развертывания и управления моделями машинного обучения.

Он имеет более 4 тысяч звезд и более 30 участников, регулярно обновляющих инструмент на GitHub.

Кедро

Kedro - это написанный на Python фреймворк MLOps с открытым исходным кодом, используемый для создания воспроизводимого и поддерживаемого кода Data Science. Он реализует методы разработки программного обеспечения, такие как управление версиями и модульность в проектах машинного обучения.

Он предлагает визуализацию конвейера, создание шаблонов проектов и гибкое развертывание проектов Data Science.

У Кендро более 3,9 тыс. Звезд на GitHub.

Селдон Ядро

Seldon - это платформа MLOps с открытым исходным кодом, предназначенная для оптимизации рабочих процессов машинного обучения с помощью ведения журналов, расширенных показателей, тестирования, масштабирования и преобразования моделей в производственные микросервисы.

Seldon предлагает некоторые высокоуровневые функции, которые упрощают контейнеризацию моделей машинного обучения, тестируют удобство использования и безопасность моделей и делают их полностью контролируемыми за счет интеграции с несколькими сервисами.

Большой процент Seldon был создан с помощью Jupyter Notebook, и у него более 2,3 тысяч звезд на GitHub.

Flyte

Flyte - еще одна платформа MLOps с открытым исходным кодом, используемая для отслеживания, поддержки и автоматизации рабочих процессов машинного обучения Kubernetes. Это гарантирует воспроизводимость выполнения моделей машинного обучения, отслеживая изменения модели, создавая ее версии и помещая модель в контейнер вместе с ее зависимостями.

Flyte написан на Python и предназначен для поддержки сложных рабочих процессов машинного обучения, написанных на Python, Java и Scala.

Инструмент имеет 1,4 тыс. Звезд и более 38 участников на GitHub.

ZenML

ZenML - это расширяемая среда MLOps с открытым исходным кодом, которая объединяет инструменты машинного обучения, такие как записные книжки Jupyter, для последовательного и простого развертывания моделей машинного обучения. ZenML используется для создания воспроизводимых конвейеров машинного обучения для создания проектов машинного обучения.

Фреймворк написан на Python и имеет более 1,1 тыс. Звезд на GitHub.

MLRun

MLRun - это среда MLOps с открытым исходным кодом, которая помогает вам управлять конвейером машинного обучения от этапа разработки до развертывания в производственной среде. MLRun обеспечивает отслеживание, автоматизацию, быстрое развертывание, управление и простое масштабирование моделей в конвейер машинного обучения.

Это написанный на Python фреймворк с более чем 300 звездами на GitHub.

Подпишитесь на наши 📬 еженедельные информационные бюллетени и следите за нами в Twitter, 📺 Youtube, 💬 Linkedin Group, 📸 Instagram и 👥 Facebook.