Запустите Spark через Mesos

Я пытаюсь запустить Spark через кластер Mesos, я успешно запустил диспетчер искр через мастер mesos и зарегистрировал платформу искры. Но когда я пытаюсь запустить какое-либо задание (spark-submit или spark-shell), инициализация останавливается и ничего не происходит.

I0708 16:30:43.319941 21373 sched.cpp:157] Version: 0.22.1
I0708 16:30:43.331514 21375 sched.cpp:254] New master detected at master@host
I0708 16:30:43.333658 21375 sched.cpp:264] No credentials provided. Attempting to register without authentication

После этого клиент зависает и все


person IamMan    schedule 08.07.2015    source источник
comment
Когда вы регистрируете spark в качестве фреймворка в веб-интерфейсе mesos, у вас есть cero ram и cpu? Потому что у меня такая же проблема, и я отмечаю, что регистрация фреймворка spark без ресурсов, выделенных на веб-интерфейсе mesos.   -  person enrique-carbonell    schedule 14.08.2015
comment
Привет! Я сейчас не помню, но у меня было достаточно ресурсов на пользовательском интерфейсе Mesos, сумма всех моих узлов (процессор и оперативная память)   -  person IamMan    schedule 14.08.2015
comment
тогда вы решаете проблему?   -  person enrique-carbonell    schedule 14.08.2015
comment
Нет, мне нужно было быстро решить эту проблему, и я решил использовать пряжу.   -  person IamMan    schedule 17.08.2015
comment
ну, @IamMan, ты можешь использовать мое решение на мезосе   -  person enrique-carbonell    schedule 17.08.2015
comment
спасибо @kikicarbonell, я попробую   -  person IamMan    schedule 18.08.2015


Ответы (1)


Я решил ту же проблему с помощью решения, предложенного @besil:

Шаг 1: запустите диспетчер, используя:

--master mesos://zk://<master_host>:2181/mesos

Шаг 2. отправьте заявку, указав:

spark-submit --deploy-mode cluster <other options> --master mesos://<dispatcher_ip>:7077 --class <class_name> <jar>

Надеюсь это поможет

person enrique-carbonell    schedule 14.08.2015