Руководство по MLO для новичков и его важность
Некоторые люди говорят, что «наука о данных», «машинное обучение» и «искусственный интеллект» - не более чем модные словечки, но я соглашусь с этим.
Отрасль машинного обучения (ML) и искусственного интеллекта (AI) МАССИВНА, но, что более важно, она РАЗВИВАЕТСЯ. Согласно прогнозам International Data Corporation, то, что в 2017 году начиналось как отрасль с оборотом 12 миллиардов долларов, к 2021 году вырастет до 57,6 миллиардов долларов. Это на 480% больше за четыре года!
Почему машинное обучение и искусственный интеллект развиваются так быстро? Из-за своего потенциала.
Согласно McKinsey, организации, успешно внедрившие машинное обучение и искусственный интеллект, добились увеличения прибыли на 3–15%. Некоторые даже предсказывают, что приложения AI и ML позволят увеличить прибыль на 38% к 2035 году.
При этом, согласно тому же отчету McKinsey, до 88% корпоративных инициатив в области ИИ с трудом выходят за рамки этапов тестирования и развертывания.
Это неудивительно, учитывая, насколько мало ресурсов на развертывание моделей, управление моделями и MLOps по сравнению с сотнями ресурсов на моделирование машинного обучения.
Таким образом, эта статья служит введением в MLOps. Вы узнаете, что такое MLOps, что в него входит и почему это важно.
Что такое MLOps?
MLOps - это сокращение от Machine Learning Operations, и оно охватывает все задачи, необходимые для управления жизненным циклом машинного обучения, включая развертывание модели, управление данными и мониторинг метрик.
Цель MLOps - увеличить автоматизацию и улучшить качество производства машинного обучения при соблюдении бизнес-требований и нормативных требований.
Вы можете думать о MLOps как о брате DevOps, хорошо известной практики разработки крупномасштабных программных систем. DevOps включает в себя идеи сокращения циклов разработки, увеличения скорости развертывания и предоставления надежных обновлений и выпусков. Поскольку система машинного обучения является подмножеством программной системы, аналогичные методы DevOps могут помочь в создании и эксплуатации систем машинного обучения.
Почему MLOps важен?
MLOps приобретает все большее значение, потому что он решает ряд проблем, с которыми сталкиваются организации при создании приложений машинного обучения (поэтому 88% организаций изо всех сил пытаются выйти за рамки тестирования). Эти проблемы включают следующее:
- Развертывание и автоматизация. Платформы управления MLOps позволяют автоматизировать контейнеризацию моделей и исключить разовую работу. Эти платформы также предоставляют простые структуры для развертывания моделей, упрощая тестирование моделей в производственной среде и последующее их развертывание.
- Воспроизводимость моделей и прогнозов. Платформы управления MLOps дают вам возможность воспроизводить поведение модели в производственной среде, не нарушая существующий трафик.
- Диагностика. Используя платформы управления MLOps, вы можете на неопределенный срок контролировать свои модели машинного обучения и запускать диагностику, чтобы убедиться, что они работают на оптимальном уровне. Эти платформы автоматически идентифицируют и предупреждают вас об аномалиях и отклонении модели.
- Управление и соответствие нормативным требованиям. Применяя методы MLOps, вы гарантируете, что соблюдаете нормативные требования и применяете надлежащие методы корпоративного управления.
- Масштабируемость. Применяя методы MLOps, ваш жизненный цикл машинного обучения станет более эффективным, увеличивая ваши возможности и, в конечном итоге, позволяя масштабировать ваши модели машинного обучения.
- Сотрудничество. Наконец, использование платформы MLOps дает возможность связать все этапы приложения ML в единую платформу, что упрощает сотрудничество с другими пользователями, будь то специалист по анализу данных или аналитик операций или бизнес-аналитик.
Почему MLOps так сложно практиковать?
Если MLOps - это решение ряда проблем, почему не все компании применяют методы MLOps? Что ж ... не все так просто.
Очень часто специалисты по данным не имеют опыта программирования или инженерного дела, а это означает, что они не знакомы с методами DevOps. Кроме того, очень часто инженеры и специалисты по обработке данных изолированы друг от друга в одном и том же бизнесе, поскольку их цели и функции обычно различаются. В целом производство машинного обучения на предприятиях все еще относительно новое и развивается.
При этом существует ряд решений, таких как Datatron, Datarobot и ParallelM, которые создаются для решения этих проблем.
Три уровня MLOps
Google определил три типа MLOps, каждый из которых повышает уровень автоматизации, а также ряд других преимуществ. Однако с каждым уровнем сложнее реализовать:
Уровень 0: Ручной процесс
Это самый базовый уровень, на котором процесс создания и развертывания моделей машинного обучения полностью выполняется вручную. Это означает, что каждый шаг жизненного цикла машинного обучения выполняется вручную, как и переход между каждым шагом. Этот тип практики очень распространен для компаний, которые только начинают внедрять машинное обучение в свою деловую практику. Этого процесса обычно бывает достаточно, когда модели редко меняются после первоначального использования.
Уровень 1. Автоматизация конвейера машинного обучения.
На этом уровне конвейер машинного обучения автоматизирован - он включает в себя все этапы от извлечения и подготовки данных до проверки модели. Автоматизированы не только шаги, но и переход между ними. Поступая таким образом, вы получаете непрерывную поставку услуг прогнозирования моделей. В отличие от уровня 0, где вы развертываете только обученную модель, вы развертываете весь процесс обучения на уровне 1.
Уровень 2: автоматизация непрерывной интеграции (CI) и непрерывной доставки (CD)
Автоматизация непрерывной интеграции и непрерывной доставки позволяет быстро и надежно обновлять конвейеры в производственной среде, что в конечном итоге позволяет специалистам по обработке данных гораздо быстрее исследовать идеи, касающиеся проектирования функций, архитектуры модели и гиперпараметров.
Где я могу узнать больше о MLOps?
Хотя в Интернете не так много ресурсов, которые рассказывают о MLOps, есть несколько хороших ссылок, которые вы можете проверить:
- Веб-сайт Datatron, на котором описаны все преимущества программного обеспечения для управления машинным обучением.
- Руководство Google по MLOps, непрерывной доставке и автоматизации
- Руководство Microsoft по развертыванию и обслуживанию моделей
Спасибо за прочтение!
Прочитав это, вы должны знать, что такое MLOps, проблемы, которые он решает, почему его так сложно реализовать, а также три уровня MLOps.
Первоначально опубликовано на https://blog.datatron.com 12 мая 2020 г. Автор: Теренс Шин.