Публикации по теме 'flume'
Все об Apache Flume
Хорошая регистрация в наших приложениях очень важна, если не самая важная. Эти журналы особенно помогают нам, когда вы пытаетесь отладить какие-либо проблемы или отслеживать состояние. При этом очень важно иметь надежный и эффективный способ ведения журнала, чтобы не потерять журналы транзакций. Здесь на помощь приходит Apache Flume .
Что такое Apache Flume
Apache Flume – это надежная и распределенная система для эффективного сбора, агрегирования и перемещения больших..
Вопросы по теме 'flume'
Как установить Cloudera Flume на Linux Gentoo (EngineYard)
спрашивая, знает ли кто-нибудь какие-нибудь варианты установки Cloudera Flume на экземпляр Linux Gentoo EngineYard через portage (emerge)
Или рецепт шеф-повара для составления флюма.
Спасибо!
382 просмотров
schedule
27.04.2022
Как установить и настроить apache flume?
Я новичок в Apache Flume. Мне нужно установить флюм поверх среды кластера HDFS. Я сделал это в гугле, все говорят, что я использую дистрибутив cloudera, но мне нужно установить и настроить из исходников.
Так может ли кто-нибудь предложить мне, с...
21825 просмотров
schedule
23.10.2022
Стандартный вывод Flume в IRC
Я пытаюсь объединить выходные данные каждого узла в кластерном приложении в легкодоступном месте. Мне не нужно, чтобы данные хранились постоянно, я просто хочу видеть весь стандартный вывод в одном месте. В конце концов я захочу хранить гораздо...
731 просмотров
schedule
05.08.2023
Как обрабатывать многострочные записи журнала в Flume
Я только начал играть с Flume. У меня есть вопрос о том, как обрабатывать записи журнала, которые являются многострочными, как одно событие. Как трассировки стека во время ошибок. Например, рассматривайте приведенное ниже как одно событие, а не как...
2191 просмотров
schedule
07.05.2022
Flume Tail a File
Я новичок в Flume-Ng, и мне нужна помощь в сохранении файла. У меня есть кластер, на котором работает Hadoop, а Flume работает удаленно. Я общаюсь с этим кластером с помощью шпатлевки. Я хочу сохранить файл на своем ПК и поместить его в HDFS в...
2500 просмотров
schedule
02.03.2023
Как настроить Apache Flume для получения данных из Twitter за определенный период?
У меня есть кластер hadoop и поток apache для интеграции данных из твиттера в HDFS, он по умолчанию извлекает данные в хронологическом порядке, так как самый последний твит будет извлечен первым и аналогичным образом, и теперь у меня есть вариант...
6441 просмотров
schedule
15.12.2023
Как хранить твиты в HDFS?
Как сохранить определенные твиты веб-сайта в HDFS?
Предположим, есть один веб-сайт www.abcd.com, и я хочу собрать все твиты пользователей для этого веб-сайта и сохранить их в HDFS или Hive.
Flume и sqoop также полезны для хранения данных....
1416 просмотров
schedule
16.06.2023
какая технология доступна для потоковой передачи данных из социальных сетей в Hadoop?
я ищу технологии, которые я могу использовать для потоковой передачи данных из социальных сетей в hadoop. я искал и нашел эти технологии
Флюм.
Буря.
Кафка.
какое средство лучше? и почему? кто-нибудь знаком с некоторыми другими...
1321 просмотров
schedule
12.01.2023
Java извлекает подстроку с разделителями полей с использованием регулярного выражения
Как извлечь имя программы из сообщения системного журнала с помощью регулярного выражения? У меня есть модуль обработки потока Java, который принимает регулярные выражения для обработки сообщений системного журнала.
Строка журнала может быть:...
1169 просмотров
schedule
31.08.2022
Не удалось получить события из Log4J в Flume
Я пытаюсь получить события из Log4J 1x в HDFS через Flume, используя приложение Log4J Flume. Создал два приложения FILE и flume. Это работает для приложения FILE, но с приложением flume программа просто зависает в Eclipse. Flume работает правильно,...
3928 просмотров
schedule
26.05.2022
Десериализация событий Flume на C# через Avro
Я настроил службу Flume, которая может отслеживать Netcat или отслеживать журнал с Exec в качестве источника и тому подобное. Я использую память в качестве канала и Avro в качестве приемника (Thrift указан в документах, но, похоже, не работает в...
895 просмотров
schedule
02.05.2023
Исключение Log4j приводит к прерыванию приложения
Мое Java-приложение использует log4j (приложение Flume с AsyncAppender) для входа на удаленный сервер журналов. Если сервер журналов не работает, log4j попытается повторно подключиться несколько раз, но затем мое Java-приложение было отключено....
119 просмотров
schedule
27.07.2022
Сбой транзакций Flume в HBase
У меня есть агент Flume, который пишет твиты в приемник HBase.
Через несколько секунд транзакции в приемник завершаются сбоем, и каждые 8-10 секунд я получаю эти сообщения об ошибках в журнале агента Flume, говорящие мне, что транзакция в HBase не...
1567 просмотров
schedule
16.02.2023
Агент твиттера apache flume не передает данные
Я пытаюсь передать потоки Twitter в hdfs, а затем использовать hive. Но первая часть, потоковая передача данных и загрузка в hdfs, не работает и дает исключение нулевого указателя.
Это то, что я пробовал.
1. Скачал apache-flume-1.4.0-bin.tar...
6748 просмотров
schedule
06.07.2022
Ошибка: не удалось найти или загрузить основной класс org.apache.flume.node.Application — установите flume на версии 1.2.1 для Hadoop.
Я построил кластер Hadoop, в котором 1 главный-ведомый узел, а другой — подчиненный. А теперь я хочу построить канал, чтобы получить весь журнал кластера на главной машине. Однако, когда я пытаюсь установить flume из архива, я всегда получаю:...
6778 просмотров
schedule
27.06.2022
java.lang.NoSuchFieldError: IBM_JAVA
Я вижу много ссылок на этот вопрос, и я следил за ними в здесь
Я использую Hadoop 2.4.1 и Flume 1.5.0.1. Моя конфигурация flume-env.sh выглядит следующим образом:...
2609 просмотров
schedule
21.01.2024
Можно ли использовать Apache Sqoop и Flume взаимозаменяемо?
Я новичок в больших данных. Из некоторых ответов на В чем разница между Flume и Sqoop? , и Flume, и Sqoop могут извлекать данные из источника и отправлять их в Hadoop. Кто-нибудь может указать точно, где используется flume и где sqoop? Можно ли...
1867 просмотров
schedule
28.05.2024
flume - flume.root.logger=DEBUG, консоль регистрирует только операторы журнала уровня INFO
Я установил Flume 1.4.0-cdh4.7.0 в CentOS (cloudera VM)
Я выполнил следующую команду, чтобы запустить поток
flume-ng агент -n имя-агента -c conf -f conf/flume.conf -Dflume.root.looger=DEBUG,console
но он только записывает в консоль уровень по...
7666 просмотров
schedule
21.03.2024
Переезд Дира на Flume
Я хотел бы загрузить DIR, который содержит подкаталог и список файлов с использованием API-интерфейса Flume или API-интерфейса Java, в HDFS в разделе /flume/events. Я использую Cloudera cdh5.1
Пожалуйста, не могли бы вы помочь мне в этом...
31 просмотров
schedule
14.06.2023
Частота дискретизации Apache Flume
Можно ли указать частоту дискретизации для Flume до того, как записи будут записаны в HDFS? Есть ли какая-то конфигурация приемника Flume для этого или нам нужно написать собственный перехватчик Flume для выборки? Я не смог найти никакой...
81 просмотров
schedule
04.09.2022
