как приложение spark может получить доступ к данным в удаленном кластере Hadoop с помощью webhdfs?

Приложение spark может получать доступ к данным в удаленных средах Hadoop с помощью HDFS, однако некоторые кластеры Hadoop ограничивают доступ к своим данным до WebHDFS, поэтому доступ к HDFS недоступен.

Как мое приложение spark может получить доступ к данным в удаленной среде Hadoop с помощью webhdfs?

Я видел этот похожий вопрос. Другой вопрос отличается от этого, потому что в нем не говорится, что среда spark и среда hadoop являются отдельными средами.


person Chris Snow    schedule 09.06.2016    source источник