Проблема с импортом данных zohmg в hbase

Я использовал zohmg и успешно создал сопоставитель, таблицу в HBase и проверочно импортировал свои данные (используя параметр --local).
Но у меня возникла проблема со вставкой данных после сопоставления в HBase, я получаю сообщение об ошибке:

Exception in thread "main" java.lang.RuntimeException: class org.apache.hadoop.hbase.mapreduce.TableOutputFormat not org.apache.hadoop.mapred.OutputFormat
    at org.apache.hadoop.conf.Configuration.setClass(Configuration.java:1034)
    at org.apache.hadoop.mapred.JobConf.setOutputFormat(JobConf.java:471)
    at org.apache.hadoop.streaming.StreamJob.setJobConf(StreamJob.java:818)
    at org.apache.hadoop.streaming.StreamJob.run(StreamJob.java:122)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
    at org.apache.hadoop.streaming.HadoopStreaming.main(HadoopStreaming.java:50)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:186)

У вас есть какие-нибудь подсказки, которые могли бы помочь мне исправить это? (Или, может быть, это проблема с Дамбо?)


hadoop hbase data-import
person wlk    schedule 28.06.2010    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Hadoop 0.20 представил новый пакет org.apache.hadoop.mapreduce и объявил устаревшим старый пакет org.apache.hadoop.mapred. HBase 0.20 последовал этому примеру с поддержкой уменьшения карты. Похоже, этот код ожидает OutputFormat для старого API, но получает HBase TableOutputFormat для нового API.

Похоже, что последний коммит на github может помочь в этом, он говорит: «добавлен патч для возврата к старому API». (Также похоже, что некоторое время не было никакой активности.) http://github.com/zohmg/zohmg/commits/master

person Dave L.    schedule 28.06.2010
comment
Да, этот проект в настоящее время активно не развивается. Теперь я вижу, что этот патч не был зафиксирован, а был добавлен только файл *.patch. - person wlk; 29.06.2010
comment
Но все равно не могу заставить его работать с CDH3, с прошивкой или без. - person wlk; 28.07.2010