Объединение кадра потоковых данных и кадра пакетных данных в структурированной потоковой передаче Spark

Как я могу объединить потоковый фрейм данных и пакетный фрейм данных вместе в Spark Structured Streaming?


apache-spark spark-structured-streaming
person Ayush Tiwari    schedule 21.09.2017    source источник
comment
объединить как в объединении или объединить как в объединении?   -  person Benedetto    schedule 15.06.2018

Ответы (1)


arrow_upward
2
arrow_downward

Вы можете выполнить обычное соединение:

val stream = spark.readStream(....)
val batch = spark.read....

val joinSandB = stream.join(batch, "someColumn")

См. Дополнительную информацию в документации

person T. Gawęda    schedule 21.09.2017