Вопросы по теме 'flume-ng'
flume - flume.root.logger=DEBUG, консоль регистрирует только операторы журнала уровня INFO
Я установил Flume 1.4.0-cdh4.7.0 в CentOS (cloudera VM)
Я выполнил следующую команду, чтобы запустить поток
flume-ng агент -n имя-агента -c conf -f conf/flume.conf -Dflume.root.looger=DEBUG,console
но он только записывает в консоль уровень по...
7666 просмотров
schedule
21.03.2024
Переезд Дира на Flume
Я хотел бы загрузить DIR, который содержит подкаталог и список файлов с использованием API-интерфейса Flume или API-интерфейса Java, в HDFS в разделе /flume/events. Я использую Cloudera cdh5.1
Пожалуйста, не могли бы вы помочь мне в этом...
31 просмотров
schedule
14.06.2023
Потоковая передача Spark на Yarn Error при создании FlumeDStream java.net.BindException: невозможно назначить запрошенный адрес
Я пытаюсь создать искровой поток на основе подхода, основанного на флюме. Я запускаю искру в своем кластере пряжи. При запуске потока он не может привязать запрошенный адрес. Я использую scala-shell для выполнения программы, ниже приведен код,...
1037 просмотров
schedule
27.12.2022
Как использовать Flume для загрузки zip-файлов в приемник hdfs
Я новичок в Flume. Мой агент Flume имеет источник в виде http-сервера, откуда он регулярно получает zip-файлы (сжатые xml-файлы). Эти zip-файлы очень маленькие (менее 10 МБ), и я хочу поместить zip-файлы извлечен в приемник hdfs. Пожалуйста,...
1645 просмотров
schedule
21.03.2023
Как передать параметры в флюме
У меня есть источник twitter flume, определенный в файле конфигурации flume.
TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource
TwitterAgent.sources.Twitter.channels = MemChannel
TwitterAgent.sources.Twitter.consumerKey =...
756 просмотров
schedule
09.06.2023
Flume: канал kafka и приемник hdfs не могут доставить ошибку события
Я хочу попробовать этот новый поток Flafka: используйте только данные передачи канала kafka в приемник hdfs. Я попробовал это с канала kafka и приемника регистратора, который легче контролировать. Мой файл конфигурации:
# Name the components on...
2805 просмотров
schedule
13.09.2022
Настройка Flume, чтобы не создавать файлы .tmp при передаче данных в hdfs
Я использую Flume для потоковой передачи данных в hdfs из журналов сервера. Но пока данные передаются в hdfs, сначала создается файл .tmp. Есть ли способ в конфигурации, где файлы .tmp могут быть скрыты или имя может быть изменено путем добавления...
2332 просмотров
schedule
12.02.2023
Flume — что произойдет, если размер пакета клиента больше, чем емкость транзакций канала?
Я читал Размер пакета, пропускная способность канала, пропускная способность канала. Я немного запутался, скажем, размер пакета клиента равен 200, а объем транзакций канала равен 100. Что происходит:
Уменьшает ли клиент размер пакета, чтобы он...
229 просмотров
schedule
29.09.2022
Полезное пространство исчерпано в лотке с использованием файлового канала
Я работаю над Flume с Spool Directory в качестве источника, HDFS в качестве приемника и File в качестве канала. При выполнении работы с лотком. Я получаю ниже проблемы. Канал памяти работает нормально. Но нам нужно реализовать то же самое,...
1230 просмотров
schedule
31.07.2022
Cloudera 5.4.2: размер блока Avro недействителен или слишком велик при использовании потоковой передачи Flume и Twitter.
Когда я пробую Cloudera 5.4.2, возникает небольшая проблема. Основа на этой статье
Apache Flume — получение данных Twitter http://www.tutorialspoint.com/apache_flume/fetching_twitter_data.htm
Он пытается получить твиты, используя Flume и...
2714 просмотров
schedule
23.07.2022
Apache Flume застрял после запуска exec flume-ng
Мне нужна помощь.
Я загрузил Apache Flume и установил его вне Hadoop, просто хочу попробовать вести журнал netcat через консоль. Я использовал версию 1.6.0.
Вот моя конфа https://gist.github.com/ans-4175/297e2b4fc0a67d826b4b
Вот как я это...
331 просмотров
schedule
31.10.2022
не могу найти мои данные, записываемые в hdfs с помощью Flume
Я пытаюсь записать данные в HDFS с помощью Flume. Это моя конфигурация агента Flume:
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port =...
358 просмотров
schedule
24.03.2023
не удалось загрузить данные из твиттера через Flume
bin/flume-ng agent -n TwitterAgent --conf ./conf/ -f conf/flume-twitter.conf -Dflume.root.logger=DEBUG,console
Когда я запускаю вышеуказанную команду, она генерирует следующие ошибки:
2016-05-06 13:33:31,357 (Twitter Stream...
2122 просмотров
schedule
27.05.2023
Почему мой агент Flume не запускается?
Я пытаюсь настроить базовый конвейер Kafka-Flume-HDFS. Kafka запущена и работает, но когда я запускаю Flume Agent через
bin/flume-ng agent -n flume1 -c conf -f conf/flume-conf.properties -D flume.root.logger=INFO,console
похоже, что агент не...
939 просмотров
schedule
29.06.2022
Источник Flume удален из-за ошибки в конфигурации
У меня был вариант использования, когда мне нужно было загрузить файл cat и загрузить его в локальный каталог с помощью FLUME. Я знаю, что Flume не предназначен для таких случаев использования, но у меня нет потоковых данных. работает для этого. Я...
2021 просмотров
schedule
11.10.2022
Могут ли несколько приемников считывать данные с одного и того же канала или как сбалансировать нагрузку приемников лотка?
Согласно нескольким источникам, таким как архитектура приложений Hadoop , несколько приемников могут считывать данные из одного канал для увеличения пропускной способности:
A sink can only fetch data from a single channel, but many sinks can fetch...
1988 просмотров
schedule
25.08.2022
Flume не выбирает файл привязки JMS
Я пытаюсь настроить агент потока, который использует JMS в качестве источника и HDFS в качестве приемника.
Шаги, которые я выполнил,
1) Создал файл .binding
```
git clone https://github.com/ibm-messaging/mq-docker.git
docker volume...
263 просмотров
schedule
06.02.2024
Пользовательский приемник и источник Flume Java
Версия Flume: - 1.6
Кафка Версия: - 1.0.0
Версия зоопарка: - 3.4.10
Нам срочно нужно было соединить Flume с Kafka и Hadoop, поэтому мы загружали данные из Kafka Consumer и передавали события в Hadoop. Все было настроено с помощью файла conf,...
310 просмотров
schedule
03.07.2022
Flume - источник спулинга каталогов - поглощение подкаталогов
В настоящее время я использую Flume 1.7. Настроил источник каталога буферизации. Я включил recursiveDirectorySearch=true для поиска файлов в подкаталогах.
source.spoolDir=/tmp/test
а в /tmp/test создаются подкаталоги с файлами данных...
120 просмотров
schedule
23.07.2023
Как запланировать конвейер данных в реальном времени (поток, кафка, потоковая передача искры)?
У меня есть конвейер пакетной обработки данных на платформе Cloudera Hadoop - файлы обрабатываются через Flume и Spark в Hive. Оркестровка осуществляется с помощью рабочих процессов Oozie.
Сейчас я создаю конвейер данных почти в реальном времени,...
430 просмотров
schedule
17.05.2022
