Ноутбук Hue Spark не работает на Cloudera Quickstart vm

Недавно я установил cloudera quickstart vm 5.8 на свой компьютер с Windows поверх VMware. По умолчанию ссылка Spark UI и ссылка Zookeeper отсутствовали в Hue, поэтому я просто отредактировал файл hue.ini, который имел:

app_blacklist = zookeeper, spark

to

app_blacklist = 

После этого я смог загрузить несколько примеров Spark, но ссылка Spark UI по-прежнему не отображалась. Однако мне удалось получить ссылку на интерфейс зоопарка.

Из загруженных примеров я выбрал образец ноутбука, с помощью которого я смог получить пользовательский интерфейс ноутбука Spark. У него было несколько примеров, но когда я их запускаю, я получаю следующую ошибку.

HTTPConnectionPool(host='localhost', port=8998): Max retries exceeded with url: /sessions (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConnection object at 0x7fdd7c5f2e50>: Failed to establish a new connection: [Errno 111] Connection refused',))

Нужно ли мне внести какие-либо изменения в дополнение к тому, что я сделал в файле hue.ini? Пожалуйста, проведите меня через это.


person karthi    schedule 03.10.2016    source источник


Ответы (1)


Ошибка была исправлена ​​после того, как я установил livy server и запустил его, используя следующие команды в терминале;

export SPARK_HOME=/usr/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf
$HOME/livy-server-0.2.0/bin/livy-server
person karthi    schedule 04.10.2016