Babylon — это стартап в сфере здравоохранения, использующий искусственный интеллект, созданный на основе работы мозга врача, чтобы предоставить доступное медицинское обслуживание миллионам людей прямо на ладони.

Большое количество продуктов Babylon использует машинное обучение и искусственный интеллект, а собственных вычислительных мощностей не хватало для проведения конкретного эксперимента. Поэтому Babylon перенесла свои пользовательские приложения на платформу Kubernetes, а команда по инфраструктуре обратилась к Kubeflow, набору инструментов для машинного обучения в Kubernetes. Вместо того, чтобы ждать часы или дни, чтобы получить возможность вычислений, команды могут получить доступ мгновенно. Клинические проверки раньше занимали 10 часов; теперь они делаются менее чем за 20 минут. Раньше исследователям приходилось ждать до 10 часов, чтобы получить результаты для новых версий своих моделей. С Kubernetes это время сократилось до 20 минут. Кроме того, раньше они могли проводить только одну клиническую валидацию за раз, теперь они могут проводить много параллельных проверок, если это необходимо, — огромное преимущество.

«Kubernetes — отличная платформа для машинного обучения, поскольку она предлагает все необходимые вам возможности планирования и масштабирования».

— ЖЕРЕМИ ВАЛЛЕ, РУКОВОДИТЕЛЬ ПО ИНФРАСТРУКТУРЕ ИИ

Что такое Kubernetes:

Kubernetes, также известная как K8s, представляет собой систему с открытым исходным кодом для автоматизации развертывания, масштабирования и управления контейнерными приложениями. Он группирует контейнеры, из которых состоит приложение, в логические блоки для упрощения управления и обнаружения.

Контейнеры — это хороший способ объединения и запуска ваших приложений. В производственной среде вам необходимо управлять контейнерами, в которых выполняются приложения, и обеспечивать отсутствие простоев. Например, если контейнер выходит из строя, необходимо запустить другой контейнер. Не было бы проще, если бы такое поведение обрабатывалось системой? Вот как Kubernetes приходит на помощь! Kubernetes предоставляет платформу для отказоустойчивой работы распределенных систем. Он заботится о масштабировании и аварийном переключении вашего приложения, предоставляет шаблоны развертывания и многое другое.

И это обеспечивает: —

  • Обнаружение сервисов и балансировка нагрузки
  • Оркестрация хранилища
  • Автоматические развертывания и откаты
  • Управление секретами и конфигурациями
  • Самовосстановление

По мере того как организации совершенствуются в использовании ИИ и машинного обучения, им необходимо создавать воспроизводимые, эффективные и устойчивые процессы для разработки и развертывания моделей. Контейнеры и Kubernetes предоставляют основные строительные блоки, помогающие операционализировать эти процессы и поддерживать операции машинного обучения (MLOPs).

Распространенным шаблоном развертывания моделей машинного обучения (ML) в производственных средах является предоставление этих моделей в виде микросервисов RESTful API, размещенных в контейнерах Docker. Затем эти микросервисы можно развернуть в облачной среде для обработки всего, что необходимо для поддержания постоянной доступности. А Kubernetes — это платформа оркестровки контейнеров, которая предоставляет механизм для определения целых топологий развертывания приложений на основе микросервисов и их требований к уровню обслуживания для поддержания постоянной доступности.

По мере того, как наборы данных продолжают расширяться, а модели становятся все более сложными, распределение рабочих нагрузок машинного обучения (МО) между несколькими узлами становится все более привлекательным. К счастью, благодаря Kubernetes управлять распределенными рабочими нагрузками становится проще.

Используя Kubernetes, вычислительные ресурсы можно добавлять или удалять по желанию, а один и тот же кластер можно использовать как для обучения, так и для обслуживания моделей машинного обучения. Поэтому отрасли используют Kubernetes для развертывания своей модели машинного обучения и упрощают ее с помощью Keuberflow.

В качестве масштабируемой платформы оркестрации Kubernetes хорошо подходит для развертывания машинного обучения — в облаке или в вашей собственной инфраструктуре.

Облако становится все более привлекательным местом для машинного обучения и науки о данных из-за экономичности масштабирования по запросу при обучении модели или предоставлении результатов обученной модели, поэтому специалисты по данным не тратят время впустую, ожидая завершения длительных циклов обучения. .