Может ли общий RDD apache ignite работать во встроенном режиме

Мне очень нравится общий RDD Apache Ignite за искру. Однако из-за ограничений я не могу развернуть ignite на узлах кластера. Единственный способ использовать Ignite - это использовать встроенный режим со Spark.

Я хотел бы знать, может ли RDD совместно использоваться в разных приложениях Spark во встроенном режиме?

У меня две работы в Spark:

Задание 1: создание данных и сохранение в совместно используемом СДР. Задание 2: получение данных из общего СДР и выполнение некоторых вычислений.

Можно ли выполнить эту задачу, используя встроенный режим ignite?

Спасибо


ignite
person lserlohn    schedule 30.04.2017    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Во встроенном режиме узлы Ignite запускаются внутри исполнителей, находящихся под управлением Spark. При этом, на мой взгляд, этот режим больше предназначен для целей тестирования - нет необходимости развертывать и запускать Ignite отдельно, имея возможность опробовать базовые функции. Но в реальных сценариях было бы очень сложно добиться согласованности и гарантий переключения при отказе, поскольку Spark может запускать и останавливать исполнителей, которые в случае встроенного режима фактически хранят данные. Я бы рекомендовал обойти ваше ограничение и убедиться, что Ignite можно установить отдельно в автономном режиме.

person Valentin Kulichenko    schedule 02.05.2017