Поставщики платформ больших данных известны разными вещами. Cloudera за то, что она была пионером в деле внедрения Apache Hadoop на предприятиях. Hortonworks (приобретена Cloudera в январе 2019 года) за ее неизменную приверженность открытому исходному коду и Apache Software Foundation. Мега облачный поставщик AWS за масштабирование по требованию и автоматизацию развертываний Hadoop / Spark. И MapR, для своей собственной платформы конвергентных данных, которая, по мнению аналитика Forrester, проще в использовании, поддерживает более широкие сценарии использования и предлагает более быстрый окупаемость при меньших затратах, чем у многих ее конкурентов.

Сегодня MapR представила новые инновации в своей платформе данных, которые отделяют вычисления от хранилища и упрощают и удешевляют обработку скачкообразных и непредсказуемых аналитических рабочих нагрузок AI / ML. По словам Сьюзи Висванатан, старшего директора MapR, это достигается за счет ускорения пути вычислений с помощью новой, глубокой интеграции с основными компонентами Kubernetes для основных рабочих нагрузок в Spark и Drill.

«Вам больше не нужно планировать худший сценарий», - говорит она, отмечая, что это дорого и увеличивает административные расходы, не принося взамен большой выгоды.

Как это работает

Хотя Kubernetes частично решает проблему - позволяя вам раскручивать контейнеры по мере возникновения вычислительных потребностей, - пользователям до сих пор оставалась утомительная работа по ручной интеграции своих приложений с такими конструкциями Kubernetes, как пространства имен и операторы. Более того, разделение и изоляция ресурсов в Kubernetes в многопользовательских средах является трудозатратным и оставляет организациям задачу использования и сохранения данных в контейнерах-клиентах.

MapR теперь будет обрабатывать все это следующим образом:

  • Упрощение развертывания, поскольку при необходимости могут вычисляться контейнеры (не только 100, но и сотни тысяч, если необходимо) для обработки всплесков вычислений без необходимости добавления дополнительных физических хост-серверов.
  • Предотвращение нехватки ресурсов приложениями друг у друга путем изоляции ресурсов, установки детальных ограничений на квоты и использования операторов заданий Spark для создания различных кластеров Spark.
  • Учет изменяющихся рабочих нагрузок запросов за счет динамического увеличения Drillbit в зависимости от нагрузки и спроса
  • Обеспечение сосуществования нескольких клиентов и развертывание контейнерных приложений Spark и Drill вместе с томами MapR в мультиоблачных средах, включая частные, гибридные и общедоступные облака.
  • Разрешение пользователям запускать разные версии Spark и Drill на одной платформе

Вице-президент Constellation Research и главный аналитик Хольгер Мюллер отмечает, что MapR давно выделился из толпы, разработав свою платформу с отдельным уровнем хранения.

«Теперь это элегантно, поскольку стоимость хранения и вычислений различается - и вы можете хранить данные отдельно от вычислений», - говорит он.

Что дальше с MapR? Вишванатан говорит, что платформа выйдет за рамки Drill and Spark. Мюллер, со своей стороны, говорит, что хотел бы, чтобы поставщик платформы больших данных помогал предприятиям отказаться от Oracle, IBM, MS SQL и т. Д. Для новых сценариев использования.