Потоковая передача данных в HDFS по протоколу webHDFS

Нам нравится записывать потоковые данные в HDFS с использованием протокола Webhdfs (https). Это возможно ?


webhdfs hadoop-streaming knox-gateway
person rajesh chandramohan    schedule 16.01.2018    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Да. После получения дескриптора потока из CREATE/APPEND вы должны установить соединение для фрагментации, используя HttpURLConnection.setChunkedStreamingMode(CHUNK_SIZE)

person theTrickster    schedule 23.01.2018