Как измерить прибыль на акцию Apache Flume?

Я начинаю с Flume-NG, и для первоначальной настройки оборудования я хочу измерить производительность Flume (EPS) на существующей тестовой машине с Linux.

Просто агент с простым потоком «Syslog to Hbase» работает на машине, и я знаю, как вводить большую нагрузку на конец источника Flume.

Чего я не имею ни малейшего понятия, так это:

  • Какую точку в потоке должны разместить мои измерения.
  • Как измерить EPS с помощью какого инструмента.
  • Любые помещения, которые могут быть необходимы.

Я много гуглил с несколькими ключевыми словами, но ничего не вышло, просто был найден результат сравнительного анализа с EPS.

Пожалуйста, поймите, что мой вопрос может быть недостаточно ясен, потому что у меня совершенно нет опыта работы с сервером такого рода.

Если вы добавляете комментарии, я постараюсь объяснить, что вы не понимаете в моем вопросе или что я не понимаю из вашего комментария.

Спасибо..


person ebenezer    schedule 26.08.2015    source источник


Ответы (1)


Вы можете контролировать flume-ng с помощью JMX. Чтобы включить JMX в /bin/flume-ng, измените JAVA_OPTS, как показано ниже:

JAVA_OPTS="-Xms100m -Xmx200m -Djava.rmi.server.hostname=10.10.10.10 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=6543 -Dcom.sun.management.jmxremote.authenticate= false -Dcom.sun.management.jmxremote.ssl=false"

flume-ng как очень подробные метрики jmx для источника/канала/приемника. После включения JMX вы можете использовать jconsole/jvisualvm...

person srk    schedule 28.08.2015
comment
Спасибо за ваш совет. В то же время я также узнал, что Flume предоставляет отчеты по метрикам через HTTP, Ganglia и JMX и т. д., и я попробовал способ HTTP, чтобы увидеть, какие метрики он сообщает, но он не сообщает информацию, связанную со скоростью, такую ​​​​как EPM, но только накопленные данные для подсчета, такие как «количество событий, переданных на данный момент». В любом случае позвольте мне попробовать способ JMX, потому что он может сообщать дополнительную информацию иначе, чем HTTP. - person ebenezer; 31.08.2015