Переезд Дира на Flume

Я хотел бы загрузить DIR, который содержит подкаталог и список файлов с использованием API-интерфейса Flume или API-интерфейса Java, в HDFS в разделе /flume/events. Я использую Cloudera cdh5.1

Пожалуйста, не могли бы вы помочь мне в этом отношении. Я хотел бы заняться кодированием того, как загружать/загружать каталог, содержащий подкаталоги и файлы. У меня есть идея загрузки файлов в hdfs с помощью Flume API/Java API

Заранее спасибо


hadoop apache flume flume-ng
person Sai Pavan    schedule 01.12.2014    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Есть ли причина, по которой вы используете Flume или Java? HDFS включает утилиту для копирования из локальной файловой системы в HDFS:

$ hdfs dfs -put <localsrc> ... <dst>

Переключатели -copyFromLocal делают то же самое; использование -moveFromLocal удалит локальный файл после его копирования.

Использовать

$ hdfs dfs -help

Чтобы получить больше информации.

person P Joslin    schedule 03.12.2014
comment
Я спросил с точки зрения кодирования с использованием API команд java/flume, а не команд CLI. - person Sai Pavan; 08.12.2014