Одна из наиболее распространенных тем, которую они разделяют при взаимодействии с главными сотрудниками по данным и аналитике, — это трудности с наймом и удержанием специалистов по обработке и анализу данных и инженеров по машинному обучению. Опрос Gartner 2021 года показал, что 64% ​​ИТ-руководителей назвали нехватку квалифицированных кадров самым большим препятствием для внедрения новых технологий, таких как искусственный интеллект и машинное обучение. Наем специалистов по обработке и анализу данных занимает на 20% больше времени, чем найма на работу в сфере ИТ, и более чем в два раза больше, чем на среднюю корпоративную работу в США. Спрос на инженеров машинного обучения еще выше: количество вакансий растет в 30 раз быстрее, чем ИТ-услуги в целом.

Несмотря на то, что предприятия инвестируют миллиарды долларов в ИИ, только около 10% этих инвестиций окупились. Перед директорами по данным и аналитике остается вопрос, как в краткосрочной перспективе извлечь выгоду из ИИ и машинного обучения в рамках всего предприятия при ограниченных возможностях инженеров в области обработки данных и машинного обучения. Вместо того, чтобы ждать, пока они смогут заполнить эти роли, команды MLOps должны найти способ поддерживать больше моделей машинного обучения и вариантов использования, не полагаясь на линейное увеличение численности специалистов по обработке и анализу данных.

Провал подхода Waterfall DevOps к машинному обучению

Специалисты по данным преуспели в превращении данных в модели, которые помогают решать бизнес-задачи и принимать бизнес-решения. Но опыт и навыки, необходимые для создания отличных моделей, отличаются от навыков, необходимых для внедрения этих моделей в реальный мир с помощью готового кода, а затем для постоянного мониторинга и обновления. С другой стороны, инженеры машинного обучения интегрируют инструменты и платформы вместе, чтобы обеспечить слаженную работу данных, конвейеров данных и ключевой инфраструктуры для масштабного производства моделей машинного обучения.

Однако передача моделей от специалистов по данным командам MLOps может привести к неэффективности из-за разных языков и способов работы между двумя группами. Это может привести к длительным узким местам, поскольку одна группа пытается сформулировать требование (например, требуется предварительная обработка данных), а другая команда пытается его удовлетворить.

Кроме того, когда модель начинает работать неправильно или становится менее точной в производственной среде, инженерам машинного обучения может быть сложно обнаружить проблему и предупредить специалистов по обработке и анализу данных о необходимости переобучения модели. Чтобы диагностировать проблему, может потребоваться коллективная работа — ошибка в производственном стеке или что-то не так с моделью? Это может привести к тем же узким местам в общении и координации, что и во время развертывания, поскольку специалисты по обработке и анализу данных пытаются получить представление о своих моделях в производственном стеке.

Учитесь на опыте внедрения облака и избегайте его ловушек

Десять лет назад команды ИТ-инфраструктуры пытались создать свои собственные частные облака, но столкнулись с такими проблемами, как более длительное время создания, более высокая стоимость, больше требований к ресурсам для обслуживания и ограниченные возможности безопасности и масштабирования по сравнению с общедоступными облаками. Эти предприятия совершили ошибку, вложив значительные средства в инфраструктуру, а не в свой основной бизнес. В результате они не смогли в полной мере использовать потенциал облачных технологий для поддержки своего бизнеса.

Теперь тот же подход повторяется в области MLOps. Одним из наиболее распространенных решений для запуска машинного обучения (ML) в производство является система, созданная по индивидуальному заказу, собранная из инструментов с открытым исходным кодом, таких как Apache Spark. Эти индивидуальные решения часто имеют низкую эффективность и не обладают необходимой наблюдаемостью для постоянного тестирования и контроля точности модели с течением времени. В результате их может быть недостаточно для крупномасштабного развертывания машинного обучения и управления им.

Кроме того, эти специализированные решения слишком специфичны, чтобы обеспечить масштабируемые и воспроизводимые процессы для различных вариантов использования в рамках предприятия. Это отсутствие масштабируемости и воспроизводимости может привести к неэффективности и ограничить потенциал технологии машинного обучения для создания реальной ценности для бизнеса. Компании должны учитывать эти проблемы и тщательно оценивать наилучший подход к развертыванию и управлению моделями машинного обучения таким образом, чтобы он отвечал потребностям их бизнеса и поддерживал их долгосрочный рост и успех.

Максимизируйте таланты и оптимизируйте операции AI/ML с помощью автоматизации

Главные сотрудники по данным и аналитике (CDAO) играют решающую роль в обеспечении успеха инициатив AI и ML в организации. Чтобы достичь этого успеха, CDAO должны найти баланс между инвестициями в основные возможности организации в области обработки данных и использованием технологий, которые могут автоматизировать остальную часть процесса MLOps.

Дилемма «создать или купить» является основным вопросом для CDAO, поскольку они пытаются быстро и эффективно внедрить инвестиции в ИИ по всему предприятию. В то время как наем специализированных специалистов по обработке и анализу данных, обладающих отраслевым опытом, может принести ценную информацию, выделение отдельных инженеров по машинному обучению для каждого направления бизнеса может привести к увеличению затрат и снижению производительности. Правильный подход — иметь стандартизированную платформу для развертывания и управления моделями машинного обучения, независимо от команды, разработавшей ее, или используемой среды построения моделей.

Нанять подходящих специалистов для работы с данными и MLOps может быть сложной задачей, но с правильными инструментами даже небольшая команда специалистов по данным может принести значительную пользу организации. Определив функции, которые можно автоматизировать с помощью лучшей в своем классе технологии, такой как Wallaroo.ai, CDAO могут эффективно оптимизировать свои операции AI/ML с ограниченными ресурсами. Кроме того, всесторонний подход к найму должен учитывать не только технические навыки, но и соответствие культурным традициям и лидерские качества. Культура поддержки, которая способствует сотрудничеству, инновациям и профессиональному росту, является ключом к привлечению лучших талантов и максимальному использованию потенциала ИИ и данных.

Wallaroo.AI может быть ценным решением для компаний, стремящихся эффективно развертывать и поддерживать свои модели ИИ, благодаря его совместимости с несколькими языками и инфраструктурой, упрощенному процессу развертывания и экономической эффективности. Воспользуйтесь преимуществами ИИ и данных вместе с Wallaroo.AI уже сегодня. Свяжитесь с нами, чтобы узнать, как мы можем помочь вашей организации использовать весь потенциал ИИ и данных.

С Wallaroo.AI вы получите экономичную, бесшовную интеграцию с существующей инфраструктурой и совместимость с несколькими языками. Наша платформа упрощает и автоматизирует развертывание, проверку и мониторинг моделей, обеспечивая успех ваших инициатив в области машинного обучения. Для получения дополнительной информации о развертывании, проверке и мониторинге ваших моделей посетите наш сайт документации и будьте в курсе всех последних новостей, посетив наш блог.

Не упустите преимущества оптимизации на последней миле развертывания. Свяжитесь с нами сегодня, чтобы узнать больше о том, как Wallaroo.AI может помочь вашей организации полностью раскрыть свой потенциал.