Получить идентификатор приложения порожденной работы oozie

Когда программа запуска oozie порождает другое задание Hadoop, есть ли способ получить идентификатор приложения или, что еще лучше, ссылку диспетчера ресурсов на это созданное приложение? Похоже, что пусковая установка oozie знает только о своем собственном идентификаторе.

Это с действием Spark.


oozie oozie-coordinator
person andrew ehrlich    schedule 03.12.2016    source источник
comment
Какую версию Oozie вы используете?   -  person YoungHobbit    schedule 03.12.2016
comment
есть ли какой-либо способ -- вы имеете в виду, например, ожидание завершения действия, затем получение идентификатора приложения YARN для этого действия, затем извлечение журналов YARN для этого идентификатора приложения, затем анализ журнала для получения какой идентификатор приложения сообщается драйвером Spark?   -  person Samson Scharfrichter    schedule 06.12.2016

Ответы (1)


arrow_upward
0
arrow_downward

Вы можете использовать встроенную функцию oozie EL ниже, чтобы получить идентификатор приложения.

wf:actionExternalId(String node)

Подробнее о доступных функциях EL здесь: http://oozie.apache.org/docs/3.3.0/WorkflowFunctionalSpec.html#a4.2_Expression_Language_Functions

person Naveen    schedule 09.12.2016
comment
К сожалению, поле externalId содержит идентификатор задания MR, которое Oozie использует для опроса состояния фактического приложения spark. Он не содержит applicationId самого искрового действия. - person Zdenek Kouba; 17.05.2018