Путешествие в будущее может быть долгим и трудным. Компании во всем мире видят преимущества, которые могут дать данные, искусственный интеллект (ИИ) и машинное обучение. Но попасть туда — совсем другое дело.

В условиях большого количества поставщиков принятие обоснованного решения (создать или купить) на платформе для масштабирования ИИ никогда не было таким сложным. Около 84% руководителей в Опросе Accenture 2019 года отметили, что они не смогут достичь своих целей роста без масштабирования ИИ.

И все же, здесь мы с проблемой все еще под рукой.

Эта статья является частью серии статей, совместно написанных командой инженеров по машинному обучению в Accenture. Эта серия направлена ​​на то, чтобы погрузиться в (новые) вековые проблемы, связанные с масштабом; Платформа машинного обучения и окружающая ее экосистема, охватывающая ряд тем, связанных с ландшафтом платформы машинного обучения.

Наше намерение состоит в том, чтобы вести разговор и поставить точку, чтобы коллективно двигаться вперед лучше подготовленными для построения будущего.

Часть 1:

Что такое платформа машинного обучения и зачем она вам нужна?

1. Что такое платформа машинного обучения?

Во многих областях исследований и промышленности машинное обучение (МО) и искусственный интеллект (ИИ) становятся все более доминирующими для решения проблем. Несмотря на то, что предпринимаются большие усилия для дальнейшего повышения производительности моделей машинного обучения, настоящее узкое место сместилось в сторону переноса таких решений машинного обучения из лабораторий в производство. По мере того, как машинное обучение укрепляется в организациях, команды, разрабатывающие решения для машинного обучения, сталкиваются со сложностями, связанными с жизненным циклом машинного обучения. В результате решения, которые помогают управлять сквозным жизненным циклом машинного обучения, пользуются большим спросом. Неудивительно, что поставщики облачных услуг предлагают собственные услуги для поддержки различных аспектов жизненного цикла машинного обучения, и все большее число поставщиков программного обеспечения расширяют свои предложения в этом направлении. Кроме того, все больше и больше стартапов выводят на рынок инновационные решения и услуги машинного обучения.

Итак, что же такое на самом деле платформа машинного обучения?

Мы определяем платформу машинного обучения как набор услуг, которые охватывают этапы сквозного жизненного цикла машинного обучения и помогают организациям постоянно разрабатывать, развертывать, интегрировать и контролировать свои решения искусственного интеллекта и машинного обучения.

2. Зачем нам нужна платформа машинного обучения?

Необходима подходящая среда для управляемой разработки моделей машинного обучения. Почему? Специалисты по данным обычно начинают жизненный цикл машинного обучения с разными наборами языков программирования (например, Python и R) и инструментов (Jupyter Notebook, RStudio, PyCharm) в разных версиях. Исследователи данных также обычно используют различные библиотеки (например, TensorFlow, scikit-learn, XGBoost) для применения таких алгоритмов, как логистическая регрессия, нейронные сети, древовидные классификаторы и т. д., что увеличивает общую сложность решения. Во многих случаях специалисты по данным создают прототип, используя небольшую выборку данных, которая обычно поддерживается доступными ресурсами (например, памятью и процессорами) их ноутбуков или рабочих станций. Спроектированные наборы данных (также известные как функции), созданные из необработанных данных, используются для локального обучения моделей, а производительность и выводы визуализируются с помощью подходящих показателей (например, в Jupyter Notebooks). Инструменты, платформы и требования к данным на этом этапе разработки модели могут быть совместимы или несовместимы с решением производственного уровня, необходимым для бизнеса.

Решения, разработанные таким образом, практически не приносят пользы и не влияют на бизнес. Чтобы раскрыть весь потенциал и постоянно создавать ценность, эти решения необходимо вывести из экспериментальной фазы и глубоко интегрировать в бизнес-процессы организации. Однако это невозможно без определенных компонентов, таких как эффективный конвейер данных, непрерывный процесс интеграции и развертывания, управление артефактами и метаданными. Только комплексный набор компонентов машинного обучения обеспечивает переход к следующему этапу жизненного цикла машинного обучения, когда тщательно обученное и отобранное решение машинного обучения переходит из лаборатории в реальный мир. В конце концов, вы не хотите, чтобы ваши модели принадлежали к поразительным 90%, которые никогда не увидят свет.

Вы можете создать платформу машинного обучения самостоятельно, как это сделали многие технологические гиганты, например, Uber (Микеланджело), ​​Airbnb (Bighead), Facebook (FBLearner), Netflix (Metaflow) и Apple (Overton) и многие другие. Хотя это может быть возможно для таких организаций с огромными командами инженеров, это неприемлемо для большинства организаций. Чтобы преодолеть это препятствие и сократить разрыв, корпоративные платформы машинного обучения все чаще предлагают решение.

3. Какие платформы машинного обучения существуют на рынке?

Чтобы справиться со сложностями управления жизненным циклом машинного обучения, все больше и больше команд машинного обучения обращают внимание на решения PaaS. Несколько поставщиков и облачных провайдеров предлагают сквозные платформы и/или услуги машинного обучения, включая AWS (Amazon Web Services), Microsoft Azure, Google Cloud Platform, Databricks, Dataiku, H2O.ai и некоторые другие.

Принимая во внимание, что поставщики облачных услуг предлагают несколько возможностей для эффективной поддержки большинства, если не всех, компонентов жизненного цикла машинного обучения, обеспечивая при этом гибкость за счет относительно высоких усилий по проектированию облака. С другой стороны, проприетарные решения, такие как Databricks, Dataiku и Domino, предлагают готовые услуги, охватывающие жизненный цикл машинного обучения, которые могут упростить переход к машинному обучению за счет гибкости.

4. Насущный вопрос: какая «самая лучшая платформа машинного обучения»?

На рынке нет недостатка в выборе платформ машинного обучения, но естественный вопрос, который может задать начинающая команда или организация машинного обучения: какая из них лучше? Мы можем с уверенностью предположить, что не существует «одной платформы машинного обучения, которая управляла бы ими всеми». Не существует такой вещи, как лучшая платформа машинного обучения. Независимо от того, насколько хорош поставщик продуктов или услуг, найдутся конкуренты с аналогичным портфелем предложений. Вместо этого правильно задать вопрос: Какая платформа машинного обучения лучше всего подходит для моей организации?

Выбор платформы машинного обучения зависит от трех вещей:

Во-первых, выбор должен соответствовать уровню навыков вашей команды. Если в вашей команде больше гражданских специалистов по данным, чем инженеров, то ваш выбор платформы будет сильно отличаться от выбора инженерной команды. Платформа хорошо подходит для нужд вашей команды только в том случае, если она упрощает их повседневные задачи, что, в свою очередь, ускоряет ваше путешествие по машинному обучению.

Во-вторых, выбор платформы должен поддерживать различные типы вариантов использования машинного обучения, которые вы пытаетесь решить, и те, которые указаны в вашей дорожной карте. Существуют разные типы вариантов использования и их требования, такие как компьютерное зрение, NLP, аналитика больших данных и т. д., и некоторые платформы поддерживают один (или несколько) лучше, чем другие.

В-третьих, выбранная платформа машинного обучения должна уменьшить технический долг вашей организации. Почти каждая платформа предлагает различные типы решений, которые охватывают различные компоненты жизненного цикла машинного обучения (например, реестр моделей, отслеживание экспериментов, хранилище функций и т. д.). Выбор платформы машинного обучения, которая поможет вам заполнить пробелы, ускорит ваше путешествие в мир машинного обучения.

После рассмотрения всего вышеперечисленного, по нашему опыту, чтобы помочь найти наиболее подходящую платформу машинного обучения для вашей организации, требуется структура возможностей машинного обучения, которая поможет вам последовательно оценить все вышеупомянутые аспекты на нескольких платформах. В конце концов, долгосрочная привязка к поставщику может дорого обойтись, если не будет сделан правильный выбор.

5. Что вы можете ожидать от этой серии?

Обсуждение наиболее подходящей платформы машинного обучения для вашей организации только началось. В следующей статье мы познакомим вас с нашей структурой и покажем, как эта структура может помочь вам оценить различные типы платформ машинного обучения. За этим последуют несколько статей, в которых мы оцениваем несколько выбранных платформ машинного обучения на основе этой структуры. Надеюсь увидеть тебя там!

P.S. Мы любим спарринги и рады обсудить и перенести эту довольно молодую тему на новый уровень с сообществом — если у вас есть какие-либо комментарии, вопросы или проблемы, пожалуйста, свяжитесь с нами!