коннектор mongodb hadoop - выходные данные не как mongodb, а как hdfs

возможно ли читать данные mongodb из соединителя подключаемого модуля hadoop mongodb, обрабатывать данные с помощью mapreduce hadoop и когда результаты вывода не используют соединитель подключаемого модуля hadoop mongodb, но оставить результат mapreduce hadoop как есть, в hdfs?


mongodb hadoop hadoop-plugins
person paganotti    schedule 01.04.2012    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Я думаю, что этот предыдущий ответ на SO отвечает на ваш вопрос с небольшим изменением:

Это можно читать данные MongoDB, обрабатывать их с помощью Hadoop и выводить в RDBS (MySQL)?

Основное отличие состоит в том, что вы должны установить для OutputFormatClass что-то вроде:

job.setOutputFormatClass( SequenceFileOutputFormat.class );

Вам также необходимо указать выходной путь в HDFS, в который вы хотите сохранить данные. См. их WordCount для полного примера кода, но используйте приведенный выше формат вывода вместо MongoOutputFormat.

person Binary Nerd    schedule 02.04.2012
comment
Я только что понял, что вопрос, на который я ссылался, был тем, который вы задали. Это в основном тот же вопрос с немного другим форматом вывода. - person Binary Nerd; 02.04.2012