Руководство по MLO для новичков и его важность

Некоторые люди говорят, что «наука о данных», «машинное обучение» и «искусственный интеллект» - не более чем модные словечки, но я соглашусь с этим.

Отрасль машинного обучения (ML) и искусственного интеллекта (AI) МАССИВНА, но, что более важно, она РАЗВИВАЕТСЯ. Согласно прогнозам International Data Corporation, то, что в 2017 году начиналось как отрасль с оборотом 12 миллиардов долларов, к 2021 году вырастет до 57,6 миллиардов долларов. Это на 480% больше за четыре года!

Почему машинное обучение и искусственный интеллект развиваются так быстро? Из-за своего потенциала.

Согласно McKinsey, организации, успешно внедрившие машинное обучение и искусственный интеллект, добились увеличения прибыли на 3–15%. Некоторые даже предсказывают, что приложения AI и ML позволят увеличить прибыль на 38% к 2035 году.

При этом, согласно тому же отчету McKinsey, до 88% корпоративных инициатив в области ИИ с трудом выходят за рамки этапов тестирования и развертывания.

Это неудивительно, учитывая, насколько мало ресурсов на развертывание моделей, управление моделями и MLOps по сравнению с сотнями ресурсов на моделирование машинного обучения.

Таким образом, эта статья служит введением в MLOps. Вы узнаете, что такое MLOps, что в него входит и почему это важно.

Что такое MLOps?

MLOps - это сокращение от Machine Learning Operations, и оно охватывает все задачи, необходимые для управления жизненным циклом машинного обучения, включая развертывание модели, управление данными и мониторинг метрик.

Цель MLOps - увеличить автоматизацию и улучшить качество производства машинного обучения при соблюдении бизнес-требований и нормативных требований.

Вы можете думать о MLOps как о брате DevOps, хорошо известной практики разработки крупномасштабных программных систем. DevOps включает в себя идеи сокращения циклов разработки, увеличения скорости развертывания и предоставления надежных обновлений и выпусков. Поскольку система машинного обучения является подмножеством программной системы, аналогичные методы DevOps могут помочь в создании и эксплуатации систем машинного обучения.

Почему MLOps важен?

MLOps приобретает все большее значение, потому что он решает ряд проблем, с которыми сталкиваются организации при создании приложений машинного обучения (поэтому 88% организаций изо всех сил пытаются выйти за рамки тестирования). Эти проблемы включают следующее:

  • Развертывание и автоматизация. Платформы управления MLOps позволяют автоматизировать контейнеризацию моделей и исключить разовую работу. Эти платформы также предоставляют простые структуры для развертывания моделей, упрощая тестирование моделей в производственной среде и последующее их развертывание.
  • Воспроизводимость моделей и прогнозов. Платформы управления MLOps дают вам возможность воспроизводить поведение модели в производственной среде, не нарушая существующий трафик.
  • Диагностика. Используя платформы управления MLOps, вы можете на неопределенный срок контролировать свои модели машинного обучения и запускать диагностику, чтобы убедиться, что они работают на оптимальном уровне. Эти платформы автоматически идентифицируют и предупреждают вас об аномалиях и отклонении модели.
  • Управление и соответствие нормативным требованиям. Применяя методы MLOps, вы гарантируете, что соблюдаете нормативные требования и применяете надлежащие методы корпоративного управления.
  • Масштабируемость. Применяя методы MLOps, ваш жизненный цикл машинного обучения станет более эффективным, увеличивая ваши возможности и, в конечном итоге, позволяя масштабировать ваши модели машинного обучения.
  • Сотрудничество. Наконец, использование платформы MLOps дает возможность связать все этапы приложения ML в единую платформу, что упрощает сотрудничество с другими пользователями, будь то специалист по анализу данных или аналитик операций или бизнес-аналитик.

Почему MLOps так сложно практиковать?

Если MLOps - это решение ряда проблем, почему не все компании применяют методы MLOps? Что ж ... не все так просто.

Очень часто специалисты по данным не имеют опыта программирования или инженерного дела, а это означает, что они не знакомы с методами DevOps. Кроме того, очень часто инженеры и специалисты по обработке данных изолированы друг от друга в одном и том же бизнесе, поскольку их цели и функции обычно различаются. В целом производство машинного обучения на предприятиях все еще относительно новое и развивается.

При этом существует ряд решений, таких как Datatron, Datarobot и ParallelM, которые создаются для решения этих проблем.

Три уровня MLOps

Google определил три типа MLOps, каждый из которых повышает уровень автоматизации, а также ряд других преимуществ. Однако с каждым уровнем сложнее реализовать:

Уровень 0: Ручной процесс

Это самый базовый уровень, на котором процесс создания и развертывания моделей машинного обучения полностью выполняется вручную. Это означает, что каждый шаг жизненного цикла машинного обучения выполняется вручную, как и переход между каждым шагом. Этот тип практики очень распространен для компаний, которые только начинают внедрять машинное обучение в свою деловую практику. Этого процесса обычно бывает достаточно, когда модели редко меняются после первоначального использования.

Уровень 1. Автоматизация конвейера машинного обучения.

На этом уровне конвейер машинного обучения автоматизирован - он включает в себя все этапы от извлечения и подготовки данных до проверки модели. Автоматизированы не только шаги, но и переход между ними. Поступая таким образом, вы получаете непрерывную поставку услуг прогнозирования моделей. В отличие от уровня 0, где вы развертываете только обученную модель, вы развертываете весь процесс обучения на уровне 1.

Уровень 2: автоматизация непрерывной интеграции (CI) и непрерывной доставки (CD)

Автоматизация непрерывной интеграции и непрерывной доставки позволяет быстро и надежно обновлять конвейеры в производственной среде, что в конечном итоге позволяет специалистам по обработке данных гораздо быстрее исследовать идеи, касающиеся проектирования функций, архитектуры модели и гиперпараметров.

Где я могу узнать больше о MLOps?

Хотя в Интернете не так много ресурсов, которые рассказывают о MLOps, есть несколько хороших ссылок, которые вы можете проверить:

Спасибо за прочтение!

Прочитав это, вы должны знать, что такое MLOps, проблемы, которые он решает, почему его так сложно реализовать, а также три уровня MLOps.

Первоначально опубликовано на https://blog.datatron.com 12 мая 2020 г. Автор: Теренс Шин.