Я новичок в Apache Flume. Мне нужно установить флюм поверх среды кластера HDFS. Я сделал это в гугле, все говорят, что я использую дистрибутив cloudera, но мне нужно установить и настроить из исходников.
Так может ли кто-нибудь предложить мне, с чего начать и как настроить Flume Agent и службы приемника?
Я только что установил Apache Flume 1.3 на Ubuntu.
Вам необходимо скачать двоичный zip-архив для вашей ОС, распаковать его и создать файл конфигурации, аналогичный файлу свойств в Java.
Установка и запуск агентов — простой и несложный процесс, просто прочитайте это.
шаги установки
#step1
goto http://flume.apache.org/download.html
#click following link
apache-flume-1.4.0-bin.tar.gz
http://apache.mesi.com.ar/flume/1.4.0/apache-flume-1.4.0-bin.tar.gz
#Download apache-flume by double clicking on the above link
tar -xvzf apache-flume-1.4.0-bin.tar.gz
mv apache-flume-1.4.0-bin.tar.gz flume
chown -R hduser:hadoop flume
#go to flume conf path
../../flume/conf
vi flume-env.sh.template
#mention JAVA Path
#mantion flume Classpath
Вот пример учебника, который я собрал, в котором используются flume, apache, flask и kibana в бродячей среде.
Внизу есть видео, чтобы дать лучшее представление:
https://github.com/mross462/Flume-Elasticsearch
В курсе Перемещение данных в Hadoop, предлагаемом Университетом больших данных по адресу:http://bigdatauniversity.com/bdu-wp/bdu-course/moving.-data-into-hadoop/ знакомит вас с Flume и лабораторией упражнение, которое поможет вам настроить и запустить flume.
ДЛЯ ЦЕНТ ОС
*шаг 1 Скачать
[https://downloads.apache.org/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz][1]
* Установите apache flume tar -xvf apache-flume-1.9.0-bin.tar.gz
* Перемещение mv apache-flume-1.9.0-bin.tar.gz usr/local/flume
*Установка пути vim /etc/profile
экспорт FLUME_HOME=/usr/local/flume экспорт PATH=$PATH:$FLUME_HOME/bin
*Версия версия flume-ng
* Conf usr/local/flume/conf в файле flume-conf.properties установите ваши свойства Hadoop
