Пейзаж искусственного интеллекта и машинного обучения (часть 4): комплексные платформы машинного обучения

В частях 1–3 этой серии мы рассмотрели некоторые невероятные инструменты, платформы и фреймворки для (1) сбора и маркировки данных, (2) обучения модели и (3) развертывания модели и управления ею.

Все эти отдельные части головоломки невероятно мощны и новаторски. Но существуют ли какие-либо инструменты, которые управляют всеми частями цикла машинного обучения? Ответ да, и нет.

В части 4 нашего погружения в ландшафт AI / ML мы рассмотрим платформы сквозного машинного обучения. И хотя большинство этих платформ предлагают надежные инструменты для управления конвейерами машинного обучения от обучения модели до развертывания и не только, важно отметить, что сбор и маркировка данных по-прежнему предоставляются инструментам, которые мы рассмотрели в первой части.

Это, конечно, не для того, чтобы ничего урезать от невероятных платформ, которые мы здесь рассмотрим, но об этом важно помнить, думая о внедрении решений машинного обучения в вашей организации.

Итак, давайте сразу же посмотрим на некоторые замечательные компании и организации, которые создают сквозные системы для управления конвейерами машинного обучения.

Мир машинного обучения быстро вращается. Подпишитесь, чтобы присоединиться к более чем 14 000 ваших коллег и оставаться в курсе.

"Аллегро"

Allegro - это платформа глубокого обучения, созданная для компьютерного зрения. Он включает набор технических инструментов, охватывающих все аспекты глубокого обучения, от разработки до производства и развертывания.

Платформа включает инструменты, предназначенные для следующих этапов жизненного цикла:

• Создавайте и уточняйте наборы данных: устранение предвзятости, создание синтетических данных, контроль версий и многое другое.
• Аннотации к видео / изображениям: автоматическая маркировка, возможность распределять задачи по тегам между командами, простое исследование наборов данных
• Экспериментируйте и тренируйтесь: автоматическое обучение, сравнение результатов в реальном времени и возможность работать с несколькими фреймворками параллельно
• Оптимизация и контроль: отслеживание производительности модели, детекторы отладки и простая реализация оптимизации гиперпараметров
• Развертывание модели: создавайте постоянно развивающиеся «потомки модели» и легко обновляйте модели на лету.

Allegro также позволяет командам создавать версии моделей после развертывания, оптимизированные для периферийных устройств, при этом гарантируя, что данные вашей организации останутся собственностью и конфиденциальностью.

У них также есть регулярно обновляемый блог компании, в котором публикуются новости платформы, сообщения о технологиях компьютерного зрения и многое другое.

Cnvrg.io

Cnvrg.io - это платформа для анализа данных с полным набором функций, которая предлагает все инструменты, необходимые для создания, управления и автоматизации рабочих процессов машинного обучения, от исследования до производства.

Управление наборами данных, экспериментами и версиями моделей происходит в надежном интерфейсе, который включает компоненты многократного использования и пользовательский интерфейс перетаскивания, который интуитивно понятен и прост в управлении между отделами и командами.

С помощью этого интерфейса пользователи также могут мгновенно развертывать модели в производственной среде, и, чтобы упростить задачу в будущем, группы по анализу данных могут также создавать конвейеры для будущих проектов, которые включают простые для понимания визуальные эффекты, оптимизированные данные и «рецепты» машинного обучения, так что каждый проект и итерация становится проще для всей организации.

Cnvrg.io действительно создан для совместной работы и для крупных организаций, у которых есть много движущихся частей.

Чтобы помочь пользователям работать со своим продуктом, Cnvrg.io также ведет надежный корпоративный блог, лист данных для потенциальных клиентов и веб-семинар, чтобы начать работу.

Решительный ИИ

Determined AI обещает, что, используя его платформу, вы сможете быстро ускорить жизненный цикл разработки глубокого обучения. Вот как они это делают:

• AutoML: распределенное обучение и современный поиск гиперпараметров.
• Инфраструктура: возможность управлять ресурсами графического процессора и совместно использовать их - локально, в возможностях или и то, и другое.
• Совместимость: пользователи могут запускать неизмененный код TensorFlow, Keras и PyTorch на Kubernetes или baremetal.
• Воспроизводимость и совместная работа: автоматическое отслеживание, совместное использование и воспроизведение экспериментов между командами.
• Развертывание: Edge, облако и мобильное устройство; автоматизирует поиск архитектуры для ограниченных развертываний.
• Блокноты Jupyter в один клик: ноутбуки с графическим процессором обеспечивают надежное исследование и визуализацию.

Чтобы помочь пользователям приступить к работе, Determined AI также имеет множество ресурсов: регулярно обновляемый блог, веб-семинары с экранами, записи, подробная документация и многое другое.

FloydHub

FloydHub - это полностью управляемая облачная платформа для команд по анализу данных. Они подчеркивают простоту использования и скорость на каждом этапе процесса.

Чтобы начать сборку:

• Блокноты и скрипты Jupyter
• Встроенные метрики
• Интеграция с GitHub

Для модельного обучения:

• Параллельное обучение
• Полная воспроизводимость
• Интеграция рабочего процесса

Для развертывания:

• Масштабирование на основе потребностей
• Интеграция приложений
• Совместное использование автоматически созданной веб-страницы

Таким образом, набор инструментов предназначен для того, чтобы вывести рутинные задачи управления из рабочего процесса машинного обучения, чтобы группы специалистов по анализу данных могли тратить свое драгоценное время на построение и эксперименты с использованием мощных и интуитивно понятных механизмов совместной работы.

FloydHub также курирует отличный блог, управляемый участниками, с подробными руководствами по всем вопросам машинного обучения, от руководства для новичков по RNN с PyTorch до прикладных сценариев использования обнаружения и локализации объектов.

BigML

BigML - это комплексная платформа машинного обучения, которая обещает устранить сложность рабочего процесса машинного обучения, позволяя группам специалистов по анализу данных улучшать и автоматизировать процесс принятия бизнес-решений.

Как следует из названия, эта платформа ориентирована на корпоративных клиентов, предлагая единую стандартизированную структуру для всей компании, что упрощает управление доступом, совместной работой и безопасностью данных / моделей.

Кроме того, платформа позволяет пользователям легко интерпретировать модели с помощью интерактивных визуализаций; экспортировать модели в различные среды; а также отслеживать и повторно использовать компоненты модели, при этом соблюдая нормативные требования и требования аудита, которые часто устанавливаются на уровне предприятия.

Благодаря интуитивно понятной панели управления, REST API и собственному предметно-ориентированному языку машинного обучения (WhizzML) BigML действительно предлагает комплексное решение для корпоративных клиентов.

В их ресурсном центре также есть образовательные программы, программа послов бренда и многое другое.

Датику

Платформа машинного обучения Dataiku ориентирована исключительно на корпоративных клиентов. Таким образом, особое внимание уделяется сотрудничеству между организациями. Эта ориентация на «аналитику самообслуживания» проявляется во многих функциях платформы:

• Инструменты для совместной работы: интегрированный обмен документами, хорошо заметные и коммуникативные инструменты управления версиями, интерфейс группового мониторинга.
• Гибкие среды обработки данных: позволяет использовать записные книжки или настраиваемый визуальный интерфейс перетаскивания на любом этапе рабочего процесса.
• Визуализация данных: визуально профилировать данные на любом этапе процесса; 20+ графиков и 80+ встроенных функций.
• Надежные инструменты для построения моделей: создание + оптимизация моделей на Python и R и интеграция с любой внешней библиотекой машинного обучения; отзывы о производительности модели и метрики.
• Развертывание: объединяйте рабочие процессы в один развертываемый пакет через REST API; отслеживать производственные данные с помощью информационных панелей и политик проверки.

У Dataiku также есть широкий спектр образовательных ресурсов, которые помогут вам начать работу с их сквозной платформой, включая вебинары, учебные пособия, официальные документы и регулярно обновляемый блог.

Валохай

Основная идея Валохая заключается в том, что, когда команды по обработке и анализу данных используют свою платформу, они смогут максимально раскрыть свои таланты, а именно, создавать модели для производства. Их платформа обещает в значительной степени автоматизировать работу DevOps, позволяя командам машинного обучения «обучать модель за считанные минуты, что в противном случае заняло бы неделю».

Вот как они это делают:

• Хранение, визуализация и отслеживание экспериментов: контроль версий, визуализация производительности модели и т. Д.
• Полная интеграция: работает с любой средой выполнения и с любым кодом машинного обучения, который пишет ваша команда.
• Стандартизированный рабочий процесс и лучшие практики: используются те же инструменты и лучшие практики, что и у лидеров отрасли (например, Uber, Netflix, AirBnB и т. Д.)
• Конструкция, ориентированная на API, для автоматизации сложных конвейеров: позволяет интегрировать в существующие конвейеры программного обеспечения.
• Запускайте модели параллельно на 100 графических процессорах или десятках TPU, в зависимости от вашего варианта использования.
• Инфраструктура без настройки: обучайте модели в облаке или на локальных серверах одним щелчком мыши, вызовом API или однострочным интерфейсом командной строки.

Блог Валохая включает в себя истории успеха, контент по инфраструктуре машинного обучения, инструменты машинного обучения, учебные пособия, обновления продуктов и многое другое.

Dataspine

Dataspine стремится быть гибкой платформой, которая управляет всем рабочим процессом машинного обучения в любой инфраструктуре. В эту цель входит устранение накладных расходов на внутреннее проектирование и инфраструктуру.

Это решение корпоративного уровня, работающее в облачной, гибридной или локальной среде, которое сохраняет контроль над технологическим стеком в руках команд машинного обучения.

• Гибкие среды разработки: ноутбуки Jupyter и Zeppelin; интегрируйте платформы с открытым исходным кодом и управляйте / визуализируйте все в одном удобном интерфейсе.
• Эластичная инфраструктура: Dataspine обещает позаботиться о проблемах базовой инфраструктуры за вас и вашу команду. Позволяет пользователям выбирать, как запускать рабочие нагрузки и на каких процессорах.
• Развертывание в один клик: производство прямо с ноутбуков или интерфейса командной строки; отслеживать производительность в режиме реального времени; A / B-тестирование и безопасная оптимизация в процессе производства.
• Единая точка контроля для управления: упрощает рабочие процессы за счет сокращения зависимостей и накладных расходов на обслуживание; позволяет легко интегрировать популярные инструменты и фреймворки с открытым исходным кодом.

Dataspine все еще находится в раннем доступе (на момент публикации этого списка), так что сейчас идеальное время, чтобы опробовать эту платформу и посмотреть, что она может предложить вашим группам машинного обучения и обработки данных.

PipelineAI

Заголовок PipelineAI обещает, что команды по анализу данных могут «быстрее экспериментировать с уверенностью».

Настраиваемое развертывание, непрерывные эксперименты с конвейерами машинного обучения, развертывание моделей на основе процентов - вот лишь некоторые из основных функций. Кроме того, PipelineAI работает со всеми основными фреймворками, оборудованием и облаком.

PipelineAI также включает в себя унифицированную панель управления, которая помогает пользователям управлять всем жизненным циклом, от локального разработчика до реального производства. Это обеспечивает полностью настраиваемый опыт с мгновенной обратной связью и выпуском функций по вашему расписанию.

Платформа представлена ​​в трех версиях: Community, Professional и Enterprise. Многие из инструментов в этом списке ориентированы в первую очередь на корпоративных клиентов, поэтому приятно видеть сквозную платформу с уровнем бесплатного пользования, а также ступенчатой ​​структурой цен / планов.

Еще одна сфера, в которой сияет PipelineAI, - это их сообщество. От GitHub до YouTube и Slack у них есть действительно впечатляющий набор инструментов и контента для сообщества, которые вам обязательно захочется посмотреть.

Глубокое познание

Deep Cognition стремится стать «универсальным центром для разработчиков глубокого обучения». Их основная платформа, Deep Learning Studio, использует как AutoML, так и систему перетаскивания, которая позволяет быстро получить доступ к высокопроизводительным моделям.

Они также создали ряд предварительно настроенных оптимизированных сред, призванных избавить от проблем, связанных с настройкой внутреннего DevOps для машинного обучения. А затем, когда пришло время развертывать, это так же просто, как один щелчок, как REST API или веб-приложение.

Deep Learning Studio имеет ряд особенностей:

• Автоматическое кодирование данных из любого популярного формата и хранилища.
• Интерфейс модели с перетаскиванием позволяет группам легко создавать модели. Доступ к предварительно обученным моделям и возможность импортировать код модели и редактировать в интерфейсе.
• При настройке гиперпараметров используется система с несколькими графическими процессорами, чтобы сократить время обучения.
• Надежное экспериментирование и контроль версий модели.
• Развертывание модели позволяет загружать модели в виде двоичных моделей или библиотек Python.

Платформа также имеет активный форум сообщества для поддержки и блог с обновлениями продуктов.

Полаксон

Polyaxon - это надежная комплексная платформа, предназначенная для ускорения рабочего процесса машинного обучения на уровне предприятия. Платформа создана для команд, которым нужна гибкая и воспроизводимая система, от отслеживания показателей моделей с течением времени до инструментов для масштабирования.

• Отслеживание: визуализация показателей модели, гиперпараметров, версий модели и т. Д.
• Оркестровка: управляйте заданиями и экспериментами с помощью ряда инструментов: интерфейса командной строки, панели инструментов, пакетов SDK или REST API.
• Оптимизация: проводите параллельные эксперименты, чтобы найти лучшую модель для данной задачи машинного обучения.
• Статистика: используйте визуализации для поиска моделей, результатов экспериментов, гиперпараметров и т. Д.
• Управление моделями: управление версиями моделей, настройка моделей, проверка при доставке.
• Сотрудничество: инструменты распространения знаний для управления версиями моделей и производительностью между командами.
• Соответствие требованиям: воспроизводимость и инструменты для соответствия требованиям регулятора без дополнительных усилий.
• Масштабируемость: запускайте задания на любой платформе по мере масштабирования вашего бизнеса (AWS, Azure, GCP или локальное оборудование)

Polyaxon также предлагает полностью управляемую платформу как услугу, определенный набор инструментов в корпоративной версии, и они поддерживают блог на Medium, который включает обновления и реализации продуктов.

Кларифаи

Clarifai предлагает широкий спектр продуктов и услуг, которые отражают их миссию по преобразованию предприятия с помощью компьютерного зрения. Для этого они предлагают интересную предварительно обученную галерею моделей с (в настоящее время) 14 моделями, которые включают модели для таких отраслей, как розничная торговля, мода, кухня, а затем ряд обобщенных моделей, которые рассматривают такие вещи, как текстуры / узоры, фильтры NSFW и т. Д. и более.

Что действительно отличает Clarifai, так это индивидуальное предложение. Платформа позволяет организациям создавать собственные пользовательские модели резюме, обученные на их собственных данных. В рамках этого предложения Clarifai предлагает обучить модели для вас или предоставить вашей команде инструменты для самостоятельного обучения.

Такие инструменты, как пользовательский интерфейс для исследования данных и интуитивно понятный API, упрощают обучение модели. Существует также инструмент визуального поиска данных, который упрощает изучение пользовательских наборов данных, с опциями для защиты бренда и рекомендаций для розничной торговли.

Что касается развертывания модели, Clarifai предлагает решения для облачного API, локального и периферийного оборудования с SDK для Android и iOS.

Чтобы помочь пользователям начать работу, Clarifai также предлагает шпаргалки, контрольные списки, электронные книги и блог компании.

Комета.МЛ

Платформа Comet.ML оправдывает свое имя. Быстрый, гладкий и хорошо заметный. Как и другие инструменты в этом списке, здесь основное внимание уделяется совместной работе и единому рабочему процессу проекта. Вот некоторые особенности:

• Совместим с большинством библиотек и фреймворков машинного обучения (Keras, TF, PyTorch, Scikit-Learn и т. Д.).
• Однострочная интеграция в ваш обучающий код.
• Простой в использовании интерфейс, позволяющий отслеживать и сравнивать эксперименты.
• Совместная работа, встроенная во всю платформу, с простыми инструментами совместного использования проектов, которые позволяют всем членам организации отслеживать прогресс.
• Встроенный инструмент документации, помогающий командам отслеживать изменения, обновления и т. Д.
• Простая интеграция с GitHub и другими поставщиками git. Автоматическое создание PR с предпочтительными версиями модели.

Comet.ML также имеет надежную службу оптимизации гиперпараметров, которая позволяет группам машинного обучения автоматически оптимизировать гиперпараметры, архитектуру модели или выбор функций - и все это происходит на ваших локальных машинах.

Comet.ML также имеет регулярно обновляемый блог, в котором представлены руководства по продуктам и другой общий образовательный контент по машинному обучению.

DeepSense.ai

DeepSense.AI сообщает о характеристиках и ценности своего продукта через истории успеха клиентов. И их много в самых разных отраслях, от банковского дела и кибербезопасности до государственного сектора; а также в таких областях решений, как прогнозное моделирование, NLP и аналитика данных.

Из-за этой стратегии получить определенные функции продукта из DeepSense немного сложнее, но из этого диапазона решений DeepSense.ai может обеспечить целый ряд аспектов вашего бизнеса, включая (но не ограничиваясь):

• Построение и реализация архитектуры данных
• Прогнозы жизненной ценности клиента
• Автоматизация маркетинга
• Механизмы рекомендаций
• Прогнозирование спроса
• Контроль качества
• Сегментация документов и аналитика
• Классификация изображений
• Комплексные программы обучения, которые помогут вашей команде быстрее решать реальные задачи по науке о данных.

DeepSense также полностью погружен в исследования и разработки, имея целый центр, посвященный совместным исследованиям с такими организациями, как Google Brain, Intel и другими.

H2O AI

Основное предложение H20 (точное название H20) - одна из ведущих платформ машинного обучения с открытым исходным кодом. Их основная цель с этим инструментом - «демократизировать интеллект для всех», и они стремятся достичь этого с помощью платформ для анализа данных, которые, как они объясняют, являются «ИИ для создания ИИ».

В качестве основного предложения с открытым исходным кодом H20 предлагает алгоритмы, разработанные с нуля, возможность использования любого знакомого языка программирования, рабочий процесс AutoML, распределенную обработку и обработку в памяти, а также простое развертывание.

H20 также предлагает платформу корпоративного уровня. У этого нет открытого исходного кода, но он содержит множество функций для более крупных организаций, которые хотят масштабировать свои решения машинного обучения:

• Автоматическая разработка функций
• Интерпретируемость модели машинного обучения с помощью расширенных визуализаций и показателей
• Конвейер пользовательской модели НЛП
• Автоматические конвейеры скоринга Python
• Расширенные возможности временных рядов
• Гибкие возможности для данных и развертывания
• Ускорение графического процессора на базе Nvidia

H20 также активно участвует в сообществе ИИ, проводя вебинары, мероприятия, множество ресурсов по продуктам и встречи по всему миру.

DataRobot

DataRobot стремится предоставить корпоративным клиентам возможность использовать искусственный интеллект для решения сложных проблем, повышения рентабельности инвестиций и многого другого.

Для этого они предлагают два основных продукта: платформу autoML и платформу автоматизированных временных рядов.

Что касается их платформы autoML, то вот чего вы можете ожидать:

• Автоматическая разработка функций
• Реализация современных библиотек машинного обучения с открытым исходным кодом, таких как H20 (см. Выше), TensorFlow, Spark ML и других.
• Простые и интуитивно понятные инструменты для совместной работы, внедряющие передовой опыт для команд по анализу данных и проектов машинного обучения.
• Простое управление моделями и конвейеры развертывания.

И для их предложения временных рядов:

• Автоматизация временных рядов: автоматически определяет ключевые показатели, такие как стационарность, сезонность и другие, при разработке прогнозных моделей.
• Использует проверенные методы и инструменты, такие как Facebook Prophecy, ARIMA и т. Д.
• Надежные инструменты визуализации, включая поддержку API, для интеграции моделирования в общую бизнес-практику.

Независимо от того, какой инструмент вы выберете, у вас будет возможность развернуть модели в управляемом облаке или в локальной инфраструктуре.

DataRobot также имеет впечатляющую коллекцию ресурсов, включая официальные документы, вебинары, отраслевые отчеты, таблицы данных и многое другое.

Pi.Exchange

Pi Exchange - это новая платформа для сквозного управления конвейером машинного обучения. Эта функция «Интеллектуальная подготовка данных» особенно интересна, предлагая рекомендации по данным на основе искусственного интеллекта, полезные аналитические данные, гибкую разработку функций и многое другое.

Кроме того, платформа имеет полный набор инструментов управления жизненным циклом модели, от углубленной аналитики обучения модели до расширенных показателей производительности для моделей, развернутых в производственной среде.

Что касается ресурсов, которые помогут вам в работе с платформой, команда Pi.Exchange только начала работу (на момент написания этой аннотации), поэтому мы должны ожидать увидеть больше полезных сообщений в блогах, документации и прочего в ближайшие месяцы.

Примечание редактора. Heartbeat - это онлайн-публикация и сообщество, созданное авторами и посвященное предоставлению первоклассных образовательных ресурсов для специалистов по науке о данных, машинному обучению и глубокому обучению. Мы стремимся поддерживать и вдохновлять разработчиков и инженеров из всех слоев общества.

Являясь независимой редакцией, Heartbeat спонсируется и публикуется Comet, платформой MLOps, которая позволяет специалистам по данным и группам машинного обучения отслеживать, сравнивать, объяснять и оптимизировать свои эксперименты. Мы платим участникам и не продаем рекламу.

Если вы хотите внести свой вклад, отправляйтесь на наш призыв к участникам. Вы также можете подписаться на наши еженедельные информационные бюллетени (Deep Learning Weekly и Comet Newsletter), присоединиться к нам в » «Slack и подписаться на Comet в Twitter и LinkedIn для получения ресурсов, событий и гораздо больше, что поможет вам быстрее создавать лучшие модели машинного обучения.