Я работаю над проектом, в котором мне нужно загрузить каталог через REST API с машины за пределами моего кластера Hadoop в HDFS. По сути, мне нужна команда, с помощью которой я могу через терминал (или скрипт Python) отправить каталог в HDFS, используя REST API.
Единственный способ, указанный в документации WebHDFS, — это загрузка одного файла. Мне этого недостаточно, потому что мне нужно загружать тысячи файлов через REST API.
Заранее спасибо!
Это для HDFS, использующей один узел как NameNode и DataNode, очень стандартная конфигурация.
