Как добавить жесткий диск в Hadoop

Я установил Hadoop 2.4 на Ubuntu 14.04 и теперь пытаюсь добавить внутренний жесткий диск sata в существующий кластер.

Я смонтировал новый hd в /mnt/hadoop и передал его право собственности пользователю hadoop.

Затем я попытался добавить его в файл конфигурации следующим образом:

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>2</value>
   </property>

   <property>
       <name>dfs.name.dir</name>
       <value>file:///home/hadoop/hadoopdata/hdfs/namenode, file:///mnt/hadoop/hadoopdata/hdfs/namenode</value>
   </property>

   <property>
       <name>dfs.data.dir</name>
       <value>file:///home/hadoop/hadoopdata/hdfs/datanode, file:///mnt/hadoop/hadoopdata/hdfs/datanode</value>
   </property>
</configuration>

После этого я запустил hdfs:

Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-namenode-hadoop-Datastore.out
localhost: starting datanode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-datanode-hadoop-Datastore.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-secondarynamenode-hadoop-Datastore.out

Вроде не запускается второй hd

Это мой основной сайт.xml

<configuration>
   <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

Кроме того, я попытался обновить namenode, и у меня возникла проблема с подключением:

Refreshing namenode [localhost:9000]
refreshNodes: Call From hadoop-Datastore/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
Error: refresh of namenodes failed, see error messages above.

Кроме того, я не могу подключиться к веб-интерфейсу Hadoop. Кажется, у меня есть две связанные проблемы:

 1) A connection problem
 2) I cannot connect to the new installed hd

Эти проблемы связаны? Как я могу исправить эти проблемы?

Спасибо

ИЗМЕНИТЬ

Я могу пропинговать локальный хост и получить доступ к локальному хосту: 50090/status.jsp

Однако я не могу получить доступ к 50030 и 50070


hadoop hadoop-partitioning hadoop2
person QGA    schedule 16.06.2014    source источник

Ответы (2)


arrow_upward
7
arrow_downward 

<property>
   <name>dfs.name.dir</name>
   <value>file:///home/hadoop/hadoopdata/hdfs/namenode, file:///mnt/hadoop/hadoopdata/hdfs/namenode</value>
</property>

Это задокументировано как:

Определяет, где в локальной файловой системе узел имен DFS должен хранить таблицу имен (fsimage). Если это список каталогов, разделенных запятыми, то таблица имен реплицируется во все каталоги для избыточности.

Вы уверены, что вам это нужно? Вы хотите, чтобы ваш fsimage копировался в оба места для избыточности? И если да, действительно ли вы скопировали fsimage на новый жесткий диск перед запуском namenode? См. раздел Добавление нового каталога данных namenode в существующий кластер< /а>.

Новый каталог данных (dfs.data.dir) в порядке, узел данных должен его подобрать и начать использовать для размещения блоков.

Кроме того, в качестве общего совета по устранению неполадок загляните в журналы namenode и datanode, чтобы получить дополнительные подсказки.

person Remus Rusanu    schedule 16.06.2014
comment
Мое понимание namenode заключается в том, что он управляет каталогами системного дерева и знает блоки, в которых расположены заданные файлы. Исходя из этого предположения, я разместил внутри конфигурационного файла папку данных на основном диске и на смонтированном в /mnt/hadoop. Впрочем, теперь я понимаю, что вы имели в виду. Я не хочу копировать namenode на добавленном жестком диске. - person QGA; 16.06.2014
comment
Я вручную отформатировал узел данных и изменил каталог namenode, который теперь указывает только на первый жесткий диск. Теперь веб-интерфейс запускается, но узлы данных по-прежнему не запускаются - person QGA; 16.06.2014
comment
Журнал содержит следующую ошибку: org.apache.hadoop.util.Shell$ExitCodeException: chmod: изменение разрешений ‘/usr/local/hadoop_store/hdfs/datanode’: операция не разрешена - person QGA; 17.06.2014
comment
Кажется, проблема с разрешением, но я дал разрешение пользователю hadoop следующим образом: sudo chown -R hadoop.hadoop /usr/local/hadoop, и всегда появляется одна и та же ошибка. - person QGA; 17.06.2014
comment
глупая ошибка, папка была sudo chown -R hadoop.hadoop /usr/local/hadoop_store. Спасибо Вам большое - person QGA; 17.06.2014
comment
Как добавить на диск Hadoop Windows? Я использую окна Hadoop - person Gank; 24.06.2016

arrow_upward
0
arrow_downward

Что касается вашего комментария: «sudo chown -R hadoop.hadoop /usr/local/hadoop_store». Владелец должен быть пользователем hdfs. Попробуйте: sudo chown -R hdfs.hadoop /usr/local/hadoop_store.

person Oleg Hmelnits    schedule 16.03.2016