Ошибка конфигурации Hadoop

Я пытаюсь запустить свое приложение hadoop, однако при запуске я вижу это в файлах журнала. Кто-нибудь знает, в чем проблема?

Создание файловой системы для hdfs: //10.170.4.141: 9000 java.io.IOException: config () в org.apache.hadoop.conf.Configuration. (Configuration.java:229) в org.apache.hadoop.conf.Configuration. (Configuration.java:216) на org.apache.hadoop.security.SecurityUtil. (SecurityUtil.java:60) на org.apache.hadoop.net.NetUtils.makeSocketAddr (NetUtils.java:188) на org.apache.hadoop .net.NetUtils.createSocketAddr (NetUtils.java:168) в org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress (NameNode.java:198) в org.apache.hadoop.hdfs.DistributedFileSystem.initialize (DistributedFileSystem.initialize (DistributedFileSystem.initialize) .java: 88) в org.apache.hadoop.fs.FileSystem.createFileSystem (FileSystem.java:1413) в org.apache.hadoop.fs.FileSystem.access $ 200 (FileSystem.java:68) в org.apache.hadoop .fs.FileSystem $ Cache.get (FileSystem.java:1431) в org.apache.hadoop.fs.FileSystem.get (FileSystem.java:256) в org.apache.hadoop. fs.FileSystem.get (FileSystem.java:125) в org.apache.hadoop.fs.FileSystem.get (FileSystem.java:240) в org.apache.hadoop.fs.Path.getFileSystem (Path.java:187) в org.apache.hadoop.mapreduce.lib.input.FileInputFormat.addInputPath (FileInputFormat.java:372) в org.blismedia.VolumeReportGenerateUpdates.main (VolumeReportGenerateUpdates.java:156ccessNvoke (метод NvoMetholect.Nvo) (метод NvoMetholect.invo) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:39) в sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:25) в java.lang.reflect.invo. apache.hadoop.util.RunJar.main (RunJar.java:187)


java hadoop hadoop-streaming
person godzilla    schedule 01.03.2013    source источник
comment
Вы явно указали IP-адрес машины в качестве ввода / вывода? Было бы полезно, если бы вы могли поделиться своим config() также, как вы даете в [put / output?   -  person Amar    schedule 01.03.2013

Ответы (1)


arrow_upward
5
arrow_downward

Я думаю, вы столкнулись с HADOOP-2851. Эту «ошибку» можно спокойно игнорировать.

По-видимому, конструктор Configuration регистрирует исключение в журнале отладки, несмотря на то, что на самом деле исключение не генерируется. Почему? Твоя догадка так же хороша как и моя. Но проблема решена в их проекте, как не исправить. «Это особенность, а не ошибка».

public Configuration(boolean loadDefaults) {
  if (LOG.isDebugEnabled()) {
    LOG.debug(StringUtils.stringifyException(new IOException("config()")));
  }
  // ...
}
person ceyko    schedule 19.03.2013