Поддерживает ли webhdfs высокую доступность при аварийном переключении?

Я использую Hadoop 2.7.1 на Centos 7

когда высокая доступность включена в кластер Hadoop

и активный узел имени выходит из строя, он становится резервным

но webhdfs не поддерживает высокую доступность?

какой должна быть альтернатива для отправки запроса на получение и размещение на другое активное имя

узел с отказом главного узла имени


hadoop webhdfs
person oula alshiekh    schedule 06.04.2017    source источник
comment
есть ли загрузка для httpfs-3.0.0-alpha2.tar.gz я еще не нашел   -  person oula alshiekh    schedule 09.04.2017
comment
httpfs включен в сам двоичный дистрибутив Hadoop.   -  person franklinsijo    schedule 09.04.2017

Ответы (2)


arrow_upward
4
arrow_downward

Да, WebHDFS не поддерживает высокую доступность. Этот вопрос все еще открыт. См. HDFS-6371

Вместо этого вы можете выбрать HttpFs. Он совместим с REST API webhdfs и HA.

Или напишите собственную реализацию для перенаправления запросов на Active Namenode.

person franklinsijo    schedule 06.04.2017
comment
даже несмотря на то, что мы перенаправляем наши запросы на текущий активный узел имени (который становится активным после сбоя основного узла имени), это не будет успешным, когда наш запрос будет помещен, потому что узел данных перенаправит этот запрос на базовый узел основного имени, который в настоящее время терпит неудачу. это правда - person oula alshiekh; 09.04.2017
comment
можете подсказать полезные ссылки и видео по работе с httpfs, если таковые имеются - person oula alshiekh; 09.04.2017
comment
когда я ввожу следующую команду curl -i -L 192.168.4.128:50070/webhdfs/v1 /aloosh /a1.tbl/?user.name=root&op=OPEN на терминале шпатлевки я не получаю ответа, и через некоторое время я получаю пустой ответ от сообщения сервера, хотя выдача этого URL-адреса из браузера работает нормально, есть идеи? - person oula alshiekh; 09.04.2017
comment
Нет, узлы данных настроены на информацию обоих узлов имен и предназначены для отправки отчетов о блоках обоим узлам имен. Это не относится к клиентским запросам, webhdfs их не обрабатывает. Таким образом, требуется подходящая альтернатива, которая поддерживает высокую доступность HDFS, например HttpFs. Что касается руководства, HttpFs и WebHDFS работают одинаково. Используйте это для настройки и это для начала. - person franklinsijo; 09.04.2017

arrow_upward
1
arrow_downward

Сервер Webhdfs работает в том же процессе, что и NameNode. Итак, вам нужно запустить прокси-сервер, совместимый с webhdfs, чтобы избавиться от отказоустойчивости NN:

  1. HttpFs — как часть Hadoop
  2. Apache Knox — как часть дистрибутива HDP.

Они оба совместимы с webhdfs, поэтому вам не нужно менять какой-либо REST API.

person prudenko    schedule 06.04.2017