Исключение в Хаме BSP

Моя хама выдает следующее исключение во время фазы разделения входных данных перед фактическим запуском моего задания BSP. Могу ли я узнать, каковы возможные основные причины этого исключения? Приветствуются любые предложения о том, как выяснить основную причину. Благодарю вас!

13/11/06 03:50:50 WARN snappy.LoadSnappy: Snappy native library not loaded
13/11/06 03:50:50 INFO sync.ZKSyncClient: Initializing ZK Sync Client
13/11/06 03:50:50 INFO sync.ZooKeeperSyncClientImpl: Start connecting to Zookeeper! At masked-addr:33960
13/11/06 03:50:52 ERROR bsp.BSPTask: Error running bsp setup and bsp function.
java.lang.NullPointerException
    at java.lang.Class.isAssignableFrom(Native Method)
    at org.apache.hadoop.io.serializer.WritableSerialization.accept(WritableSerialization.java:100)
    at org.apache.hadoop.io.serializer.SerializationFactory.getSerialization(SerializationFactory.java:83)
    at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)
    at org.apache.hadoop.io.SequenceFile$Writer.init(SequenceFile.java:963)
    at org.apache.hadoop.io.SequenceFile$Writer.<init>(SequenceFile.java:896)
    at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:393)
    at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:284)
    at org.apache.hama.bsp.PartitioningRunner.bsp(PartitioningRunner.java:217)
    at org.apache.hama.bsp.BSPTask.runBSP(BSPTask.java:177)
    at org.apache.hama.bsp.BSPTask.run(BSPTask.java:146)
    at org.apache.hama.bsp.GroomServer$BSPPeerChild.main(GroomServer.java:1246)
13/11/06 03:50:52 INFO ipc.Server: Stopping server on 33960
13/11/06 03:50:52 INFO ipc.Server: IPC Server handler 0 on 33960: exiting
13/11/06 03:50:52 INFO ipc.Server: Stopping IPC Server listener on 33960

person keelar    schedule 06.11.2013    source источник
comment
какую версию hama и hadoop вы используете? также какую ОС вы используете?   -  person hanif s    schedule 04.06.2014
comment
Я использую hama v0.6.3 и Apache Hadoop Mapreduce v1.2.1., и он работает на Linux.   -  person keelar    schedule 05.06.2014
comment
Можете ли вы указать, какой учебник вы используете для установки и настройки hama, потому что у меня проблемы с hama последние три недели, я использовал его в win8 с vmware player, hama v0.6.4 и hadoopv1.2.0   -  person hanif s    schedule 05.06.2014
comment
Что касается настройки, я думаю, что я в основном следил за основным веб-сайтом hama и hadoop (hama.apache.org, hadoop.apache.org), особенно страницы для начала работы, но у меня нет опыта их запуска в vmware. под вин8.   -  person keelar    schedule 05.06.2014
comment
у вас он нормально работает в psudu-distributed и других режимах или у вас возникли проблемы и в процессе установки?   -  person hanif s    schedule 09.06.2014
comment
Я думаю, что это работает гладко (особенно если у вас есть некоторый опыт работы с hadoop). В моем случае мне потребовалось два дня, чтобы настроить кластер и написать свои первые коды BSP, хотя я думаю, что страницу мониторинга Hama можно было бы немного улучшить.   -  person keelar    schedule 09.06.2014
comment
у меня hadoop работал без сбоев, но при попытке запустить пример hama возникла ошибка подключения, не могли бы вы поделиться, какие именно материалы вы использовали и какую версию hadoop и hama вы использовали. спасибо, я получил следующую ошибку ошибка установки на ubuntu 14 04"> stackoverflow.com/questions/23912772/   -  person hanif s    schedule 09.06.2014
comment
Это точные версии, которые я использовал.   -  person keelar    schedule 10.06.2014
comment
на самом деле я решил проблему, вы можете найти ее здесь. stackoverflow.com/questions/23912772/   -  person hanif s    schedule 11.06.2014


Ответы (1)


Нашел первопричину. Это исключение возникает, когда хотя бы один из входных файлов, указанных во входных путях, имеет размер 0.

person keelar    schedule 06.11.2013