Spark Streaming для данных Fitbit

Я использую Fitbit Oauth 2.0 для доступа к данным fitbit. Я храню эти данные в базе данных SQL, после чего я использую Spark SQL для анализа данных. Если мне нужно использовать Spark Streaming, как мне передать данные в Spark после выполнения OAuth?


oauth-2.0 apache-spark apache-spark-sql spark-streaming fitbit
person Nicole    schedule 12.04.2016    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Есть несколько способов сделать это

  1. Вы можете отформатировать данные fitbit в структурированные данные, а затем сбросить их в HDFS/Kafka/Socket и запустить соответствующий приемник HDFS/Kafka/Socket.

  2. Вы можете написать свой собственный приемник для получения данных напрямую с помощью OAuth или из базы данных SQL.

person Lokesh Kumar P    schedule 13.04.2016