Мониторинг количества ожидающих приложений YARN в Cloudera Manager

Мне нужно построить диаграмму, показывающую, сколько ожидающих (ПРИНЯТО) задач Hadoop у меня есть в кластере. Чтобы быть более подробным, мне нужно получить это значение:

yarn application -list -appStates ACCEPTED | grep ACCEPTED | wc -l

каждые N секунд и построить график в реальном времени для мониторинга.

Вместо того, чтобы писать код для построения диаграмм «с нуля», я выбрал Cloudera Manager с его построителем диаграмм, разработанным для упрощения создания таких диаграмм. Но в списке метрик Cloudera я не могу найти ни одной метрики, которая помогла бы мне построить график (кроме apps_ingested_rate и active_applications_across_yarn_pools, но они всегда показывают 0). Итак, существует ли способ построить диаграмму для мониторинга количества ожидающих приложений YARN с помощью Cloudera Manager?

Версия Cloudera Manager: 5.11 бесплатная.


charts monitoring cloudera yarn cloudera-manager
person VeLKerr    schedule 02.05.2017    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Я не знаю, доступна ли эта информация в Cloudera Manager, поскольку я использую HDP, но один из самых простых способов получить эту информацию — использовать файл REST API YARN ResourceManager.

Количество ожидающих приложений напрямую отображается в конечной точке Cluster Metrics API в поле appsPending.

GET http://<rm http address:port>/ws/v1/cluster/metrics

# {
#   "clusterMetrics":
#  {
#    "appsSubmitted":0,
#    "appsCompleted":0,
#    "appsPending":0,
person Romain    schedule 19.08.2017

arrow_upward
0
arrow_downward

Я не использую бесплатную версию, но вы сможете построить диаграмму, используя «выберите приложения_ожидание».

Возможно, причина, по которой вы ничего не видите, заключается в том, что у вас недостаточно заданий, которые переполняют ваш кластер, поэтому количество ожидающих приложений всегда равно нулю. Для проверки вы можете запустить несколько заданий и использовать «выбрать apps_submitted_rate», чтобы убедиться, что вы правильно видите данные.

person tk421    schedule 05.05.2017