Я новичок в Flume, может кто-нибудь прояснить этот вопрос:
Согласно документации Flume, он обеспечивает поддержку различных типов источников с помощью встроенного API. Источники, такие как: Avro source , Spooling Directory source , Exec source ,Netcat Source , Syslog source.
Предположим, мы хотим получить данные из telnet, тогда мы используем Netcat в качестве источника.
Тогда в каких сценариях мы будем использовать Avro and Thrift sources?
Заранее спасибо.
Обычно вы используете оба для Sink одного и того же типа. Как упоминалось в документации для обоих, в нем говорится, что они являются «одной половиной» поддержки многоуровневой топологии Flume.
Например, поместите источники netcat (или другие) в приемник Avro, настройте второго агента с источником Avro и приемником HDFS для направления всех данных netcat в единое место.
См. разделы документации "Мультиплексирование и консолидация"
Avro, как правило, является предпочтительным форматом, потому что, если вы записываете события в HDFS, все механизмы запросов MapReduce, Spark, Pig, Hive и т. д. могут легко прочитать данные события.
