Где выполняется функция сокращения Apache SparkByWindow?

Я пытаюсь изучить apache spark и не могу понять из документации как работают оконные операции.

У меня есть два рабочих узла, и я использую Kafka Spark Utils для создания DStream из темы.

К этому DStream я применяю функцию map и функцию reductionByWindow.

Я не могу понять, выполняется ли reductionByWindow на каждом воркере или в драйвере.

Я искал в Google без каких-либо результатов.

Кто-нибудь может мне объяснить?


apache-spark spark-streaming window-functions
person theShadow89    schedule 24.06.2015    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Как получение, так и обработка данных происходит на рабочих узлах. Драйвер создает приемники (на рабочих узлах), отвечающие за сбор данных, и периодически запускает задания для обработки собранных данных. Все остальное — это в значительной степени стандартные RDD и обычные задания Spark.

person zero323    schedule 27.06.2015