Можно ли указать частоту дискретизации для Flume до того, как записи будут записаны в HDFS? Есть ли какая-то конфигурация приемника Flume для этого или нам нужно написать собственный перехватчик Flume для выборки? Я не смог найти никакой документации на странице руководства пользователя Apache Flume.
Частота дискретизации Apache Flume
Ответы (1)
Да, вы можете добиться этого, указав размеры пакетов в приемнике hdfs:
hdfs.batchSize = 100 // 100 is the default.
Вы также должны убедиться, что вы указали достаточно большую пропускную способность канала.
person
Erik Schmiegelow
schedule
13.01.2015
Спасибо за это, но предположим, что я хочу случайным образом выбирать данные, batchSize не будет делать это правильно?
- person anonymous123; 15.01.2015
Этого можно добиться с помощью перехватчика — например, RgexInterceptor фильтрует события, но подойдет и любая другая реализация.
- person Erik Schmiegelow; 15.01.2015
