Ошибка каскадного задания 2.0.0 в Hadoop FileNotFoundException job.split

Когда я запускаю свою работу с большим набором данных, многие преобразователи/редьюсеры терпят неудачу, что приводит к сбою всей работы. Вот ошибка, которую я вижу у многих картографов:

java.io.FileNotFoundException: File does not exist: /mnt/var/lib/hadoop/tmp/mapred/staging/hadoop/.staging/job_201405050818_0001/job.split
  at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.openInfo(DFSClient.java:1933)
  at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.<init>(DFSClient.java:1924)
  at org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:608)
  at org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:154)
  at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:429)
  at org.apache.hadoop.mapred.MapTask.getSplitDetails(MapTask.java:385)
  at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:417)
  at org.apache.hadoop.mapred.MapTask.run(MapTask.java:377)
  at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
  at java.security.AccessController.doPrivileged(Native Method)
  at javax.security.auth.Subject.doAs(Subject.java:415)
  at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1132)
  at org.apache.hadoop.mapred.Child.main(Child.java:249)

Кто-нибудь смог решить эту проблему? Я вижу другого человека, испытывающего ту же боль, что и я (здесь), к сожалению, его не удалось вовремя спасти.


hadoop cascading
person Kira    schedule 05.05.2014    source источник

Ответы (1)


arrow_upward
1
arrow_downward

После нескольких часов отладки я не нашел абсолютно ничего полезного в логах Hadoop (как обычно). Затем я попробовал следующие изменения:

  • Увеличение размера кластера до 10
  • Increase the failure limits :
    1. mapred.map.max.attempts=20
    2. mapred.reduce.max.attempts=20
    3. mapred.max.tracker.failures=20
    4. mapred.max.map.failures.percent=20
    5. mapred.max.reduce.failures.percent=20

Впоследствии я смог запустить свою каскадную работу с большими объемами данных. Похоже, проблема вызвана каскадированием.

person Kira    schedule 06.05.2014