Операции с машинным обучением (MLOps) — это очень горячая область на уже быстро растущем рынке искусственного интеллекта. Ожидается, что к 2025 году только рынок MLOps вырастет почти до 4 миллиардов долларов. Учитывая уже переполненное пространство для стартапов AI и MLOps, мы рассмотрели некоторые из лучших стартапов MLOps и задались вопросом — какую проблему решает их стартап?
# 1 Weights & Biases — новые инструменты разработки для разработчиков машинного обучения
Этап: запуск серии C | Всего привлечено $200 млн.
Ведущие инвесторы: Gaingels, Insight Partners, Coatue, Bond, Hack VC.
Ссылка на Github: https://github.com/wandb | Сайт: https://www.wandb.ai
Weights & Biases, основанная Лукасом Бивальдом и Крисом Ван Пелтом, представляет собой первую для разработчиков платформу MLOp, которая предлагает инструменты визуализации производительности для машинного обучения. Это помогает компаниям превращать исследовательские проекты глубокого обучения в развернутое программное обеспечение, помогая командам отслеживать свои модели, визуализировать производительность моделей и легко автоматизировать обучение и улучшение моделей.
Проблемы, которые они решают
У разработчиков уже давно есть набор инструментов для создания и развертывания кода, таких как редакторы кода и инструменты развертывания, такие как Jenkins. Weights & Biases создает аналогичный стек для специалистов по машинному обучению, который включает редактирование и визуализацию, отслеживание экспериментов и управление моделями. Это важно, потому что существует фундаментальная разница между рабочими процессами разработки программного обеспечения и машинного обучения.
Изображение предоставлено wandb.ai
# 2 Iguazio — Автоматизация конвейера MLOps и разработка функций
Стадия: поздняя стадия | Всего привлечено $72 млн.
Ведущие инвесторы: Dell Technologies, Pitango VC, Robert Bosch VC, JVP, Samsung Ventures.
Ссылка на Github:https://github.com/mlrun/mlrun| Веб-сайт: www.iguazio.com
Этот стартап MLOps из Тель-Авива, основанный в 2014 году, был одним из первых участников рынка MLOps. Их платформа обработки данных ориентирована на рабочий процесс машинного обучения, что позволяет командам разрабатывать, развертывать и управлять приложениями искусственного интеллекта. Она также позволяет создавать модели машинного обучения в режиме реального времени и развертывать их в любом месте, в том числе в мультиоблачных средах, локально, при необходимости, и даже на периферии. устройства.
Проблемы, которые они решают
MLOps включает в себя сложный рабочий процесс. Платформа Iguazio Data Science Platform включает в себя все самые распространенные предустановленные инструменты машинного обучения с открытым исходным кодом, включая конвейерную обработку, необходимую для MLOps, и интегрированное хранилище функций. Платформа ориентирована на то, чтобы предоставить специалистам по данным и инженерам по машинному обучению Python First с упором на Kubernetes для облачной и многооблачной поддержки.
Изображение предоставлено: www.iguazio.com
# 3 Iterative.ai — инструменты на основе Git для данных, моделей и конвейеров
Этап: Серия A Всего собрано 25 млн долларов США.
Ведущие инвесторы: 468 Capital, True Ventures, Afore Capita
Ссылка на Github: https://github.com/iterative | Веб-сайт: www.Iterative.ai
Iterative.ai — это платформа MLOps, которая разрабатывает управление жизненным циклом для наборов данных и моделей машинного обучения. Iterative.ai привносит инженерные методы в науку о данных и машинное обучение. Он поддерживает репозиторий кода с файлами данных, файлами моделей машинного обучения и метриками моделей. Он отслеживает эксперименты по машинному обучению, чтобы делиться знаниями об идеях. Основана в 2018 году со штаб-квартирой в Сан-Франциско, Калифорния.
Проблемы, которые они решают
Только недавно специалисты по машинному обучению начали обращать внимание на управление версиями. Управление версиями данных и моделирования, тестирование машинного обучения (ML) и управление версиями среды ML — все это ключевые элементы нового рабочего процесса MLOps. Подход Iterative с открытым исходным кодом обеспечивает доступ к тому, что по сути является git для данных, моделей и конвейеров всех этих элементов и слоев в инструментах для совместной работы. Контроль версий данных и непрерывное машинное обучение, распространенные в разработке программного обеспечения, теперь становятся важными для инженерии, науки о данных и практики машинного обучения.
# 4 Артур ИИ — мониторинг моделей и контрфактические объяснения
Этап: Серия A Всего собрано 13,8 млн долларов США.
Ведущие инвесторы: 468 Capital, True Ventures, Afore Capita
Веб-сайт: www.arthur.ai
Основанная в 2018 году нью-йоркская компания Arthur AI представляет собой платформу, которая отслеживает продуктивность моделей машинного обучения и предоставляет информацию об оптимизации, объяснимости, обнаружении и устранении предвзятости. Он также позволяет настраивать метрики, интеллектуальные оповещения, обнаруживать дрейф данных и контрфактуальные объяснения.
Проблемы, которые они решают
Проскальзывание производительности модели — постоянная проблема в производственных средах машинного обучения. Компании понимают, что, в отличие от обычного программного обеспечения, системы машинного обучения нуждаются в надежных процессах снижения рисков. Системы оповещения, которые выявляют смещение и дрейф модели, а также другие функции, являются частью этого смягчения. Также включены контрфактуальные объяснения, которые являются важным новым методом, который обеспечивает анализ сценариев «что, если» для интерпретируемости модели.
# 5 arrikto — автоматизированные операции машинного обучения (AutoMLOPs)
Этап: Серия A Всего собрано 15 млн долларов США.
Ведущие инвесторы: Unusual Ventures, Odyssey Ventures L.P.
Github: https://github.com/arriktoВеб-сайт: www.arrikto.com/
Платформа Arrikto MLOps позволяет группам специалистов по обработке данных и машинному обучению совместно работать над непрерывным созданием, обучением, развертыванием и обслуживанием моделей машинного обучения с эффективностью DevOps. Arrikto оборачивает kubeflow, чтобы вы могли локально создавать на одном узле, а затем развертывать его в рабочей среде с несколькими узлами. Их автоматизированный рабочий процесс машинного обучения помогает специалистам по обработке и анализу данных создавать конвейеры Kubeflow для MLOps, помечая ячейки в Jupyter Notebooks для определения шагов конвейера, настройки гиперпараметров, использования графического процессора и отслеживания показателей. Затем это можно использовать для автоматического создания компонентов конвейера и DSL KFP (декоратор для функций Python, который возвращает конвейер).
Проблемы, которые они решают
Проекты с открытым исходным кодом, Kubeflow и MLflow, доминируют в ландшафте MLOps, и Arrikto полностью относится к лагерю Kubeflow в качестве корпоративного решения. Однако реальное решение состоит в том, чтобы рассматривать данные как код и позволить инженерам-программистам или инженерам по машинному обучению вносить изменения из своих загрузочных сред, таких как ноутбук Jupyter, в рабочую среду. Это интересный подход к MLOps, основанный на данных. Кроме того, возможность переноса контейнерных рабочих процессов, включающих приложения и данные, между машинами или кластерами облегчает задачу оркестровки рабочих процессов, полностью работающих с Kubernetes.
Изображения предоставлены Аррикто
# 6 Seldon — Объяснимость, интерпретируемость и обнаружение дрейфа с открытым исходным кодом
Этап: Серия A Всего собрано 13 млн долларов США.
Ведущие инвесторы: Cambridge Innovation Capital, Playfair Capital, Amadeus Capital Partners
Github: https://github.com/SeldonIOВеб-сайт: www.seldon.io
Seldon — это платформа для развертывания машинного обучения, которая включает в себя несколько проектов с открытым исходным кодом, включая обслуживание моделей, объяснения и мониторинг. Их самые популярные проекты с открытым исходным кодом включают Alibi, Alibi-Detect и Seldon-core; платформа MLOps для упаковки, развертывания, мониторинга и управления тысячами производственных моделей машинного обучения. Alibi — это набор алгоритмов для объяснения моделей машинного обучения, а Alibi-Detect — это отчет для выявления выбросов, обнаружения состязательных действий и обнаружения дрейфа.
Проблемы, которые они решают
Объяснимость — это хорошо понятая, но несколько недооцененная проблема, причем SHAP, пожалуй, самая известная. Alibi расширяет SHAP (также включен) набором объяснений модели, которые включают объяснение привязки для изображений, интегрированные градиенты для текста, контрфактические примеры (включая обучение с подкреплением) и модели локальных эффектов. Его дочерний проект Alib-Detect включает в себя в общей сложности 10 моделей обнаружения дрейфа, включая изолированный лес, AE, VAE, AEGMM и Seq2Seq. Набор для обнаружения дрейфа включает в себя еще дюжину моделей, включающих такие статистические методы, как метод Колмогорова-Смирнова и максимальное среднее несоответствие.
#7 Метаплан
Этап: посев Всего собрано Неизвестно
Ведущие инвесторы: Y Combinator, Flybridge
Веб-сайт: www.metaplane.dev
Группы обработки данных могут использовать платформу наблюдения Metaplean, чтобы сэкономить время инженеров и повысить доверие к данным, понимая, когда что-то ломается, что пошло не так и как это исправить. Это делается путем автоматического мониторинга современных стеков данных, которые включают хранилища и информационные панели BI, определения нормального поведения (например, происхождения, объемов, распределений, актуальности), а затем оповещения различных заинтересованных сторон при возникновении проблем.
Проблемы, которые они решают
В ИИ наблюдается сильное движение в пользу подхода, основанного на данных, а не на модели. Причины очевидны. Ошибки данных часто более распространены и обходятся дороже на платформах, управляемых данными, чем ошибки кода. Однако тесты кодовых баз, как правило, недостаточно надежны, чтобы зафиксировать каждую непостоянную особенность потоков данных. Набор встроенных тестов Metaplane с настраиваемым допуском снимает это бремя с разработчиков.
Узнайте больше о стартапах MLOps на ODSC East 2022
Все эти стартапы MLOps будут представлены на ODSC East 2022 в рамках трека MLOps и AI Expo & Demo Hall. Посетить AI Expo & Demo Hall можно бесплатно! Если вы хотите попробовать трек MLOps, то зарегистрируйтесь здесь, чтобы получить скидку 50 % на все типы билетов. Вот несколько выдающихся сессий на треке:
Вычислительный анализ выживания: Аллен Дауни, профессор колледжа Олин, автор книги Think Python, Think Bayes, Think Stats |
Машинное обучение для A/B-тестирования:Алекс Пейсахович, старший научный сотрудник Facebook AI Research.
Небольшое обучение: Иша Чатурведи, главный специалист по данным, Capital One
Организация воспроизводимых экспериментов AutoML с использованием PyCaret, W&B и Prefect Аниш Шах, инженер машинного обучения, Weights & Biases
Введение в глубокое обучение с использованием Keras и Tensorflow: Джулия Линтерн, инструктор по науке о данных, Метис.
Обучение с самоконтролем и без учителя для разговорного ИИ и НЛП: Чандра Хатри, главный научный сотрудник и руководитель отдела ИИ, Got It AI
Данные сообщества: что измерять и зачем? Кали Долфи, специалист по данным, Red Hat
Введение в интерпретируемость в машинном обучении: Андрас Зсом, доцент, Университет Брауна.
Понимание и оптимизация параллелизма в программах на основе NumPy: Ральф Гоммерс, содиректор Quansight Labs.
Быстрое прототипирование данных: исследование временных рядов COVID-19 Данные: Эрик Салитуро, старший инженер-программист, Zendesk
Искусственный интеллект для борьбы с изменением климата и сельского хозяйства с использованием PyTorch: Engine Isabelle Tingzon, исследователь машинного обучения, Thinking Machines Data Science
Читайте другие статьи по науке о данных на OpenDataScience.com, включая учебные пособия и руководства от начального до продвинутого уровня! Подпишитесь на нашу еженедельную рассылку здесь и получайте последние новости каждый четверг. Вы также можете пройти обучение по науке о данных по запросу, где бы вы ни находились, с нашей платформой Ai+ Training. Подпишитесь также на нашу быстрорастущую публикацию на Medium, ODSC Journal, и узнайте, как стать писателем.
