# P1 # # P2 #
  • Часть 1: MLOps , инструменты для оркестровки и основы для понимания конвейеров Kubeflow
  • Часть 2: Введение в конвейеры Kubeflow с примерами
  • Часть 3: Сквозная реализация машинного обучения с использованием Vertex AI (управляемый Kubeflow)
# P3 # # P4 #

# P5 # # P6 # # P7 #
  • Apache Airflow
  • Конвейеры Kubeflow (использует оркестровку Argo)
  • Луиджи и т. Д.
# P8 # # P9 #
  • Конвейеры Kubeflow позволяют создавать переносимые масштабируемые рабочие процессы машинного обучения.
  • Каждый этап рабочего процесса машинного обучения имеет разные системные требования (Извлечение / обработка данных могут потребоваться кластеры Hadoop, для обучения модели потребуется ЦП / ГП, а для обслуживания модели - высокодоступные машины ГП / ЦП). Идеальный сценарий - построить эту систему поверх Kubernetes (из-за различных требований к системе) с контейнеризацией отдельных шагов. Но для этого требуется большой опыт в создании масштабируемой системы поверх Kubernetes, и именно здесь на помощь приходят конвейеры Kubeflow (к вашему сведению, то же самое можно сделать и с помощью Airflow Docker Operator).
  • Кроме того, понимание Конвейеры Kubeflow становятся важными, поскольку управляемые конвейеры облачных провайдеров (Vertex AI (GCP) и Sagemaker (AWS)) построены на основе конвейеров Kubeflow
# P10 #
# P11 #

# P12 # # P13 # # P14 # # P15 #
# P16 #
# P17 # # P18 # # P19 # # P20 #

# P21 # src = 'https: //gist.github.com/Kailash-Thiyagarajan/f2ee1d21df1e0947176895991384443b.js'>
  • FROM сообщает Docker, на каком образе вы основываете свой образ (в примере le, Python 3.6).
  • COPY все из вашего текущего каталога в папку / app
  • RUN сообщает Docker, какие дополнительные команды следует выполнить.
  • CMD сообщает Docker для выполнения команды при загрузке изображения.
# P23 # # P24 # # P25 # # P26 #

$ docker images

# P27 #

$ docker run -d -p 5000:5000 <docker_image_id>

# P28 # # P29 # 
docker stop ‹continaer_id› # останавливает запущенный контейнер docker rm ‹container_id› # удаляет контейнер docker rmi ‹image_id› # удаляет образ докера
# P30 #
# P31 # # P32 # # P33 #

# P34 # # P35 # # P36 #
# P37 #

Если вам понравилась статья, поставьте 👏!

Использованная литература:



Расширение возможностей разработки приложений для разработчиков | Docker
Узнайте, как Docker помогает разработчикам воплощать их идеи в жизнь, преодолевая сложность разработки приложений. www.docker.com





Управление контейнерами производственного уровня
Kubernetes, также известный как K8s, - это система с открытым исходным кодом для автоматизации развертывания, масштабирования и управления… kubernetes.io





Руководство для начинающих по пониманию и созданию образов Docker
Практическое руководство по образам Docker. Как они работают, как их создавать, как оптимизировать, где найти готовые… jfrog.com