Публикации по теме 'fluentd'
Централизованное ведение журнала: анализ журналов ключевых значений с помощью FluentD
Извлекайте пары ключ-значение из строк журнала с помощью парсера FluentD
«Fluentd - это кроссплатформенный проект программного обеспечения для сбора данных с открытым исходным кодом, изначально разработанный в Treasure Data. Он написан в основном на языке программирования Ruby ».
- Википедия
В своих предыдущих сообщениях в блоге я объяснил, как использовать FluentD для анализа и отправки журналов на централизованный сервер журналов (стек EFK), проанализировать многострочные..
Вопросы по теме 'fluentd'
Fluentd не сбрасывает данные в эластичный поиск, но сбрасывает их при завершении работы.
У меня есть настройка fluentd + elastic search + kibana. Fluentd настроен на вывод в эластичный поиск с помощью этого подключаемого модуля: https://github.com/uken/fluent-plugin-elasticsearch . Проблема в том, что fluentd никогда не сбрасывает свои...
3703 просмотров
schedule
30.12.2022
Можете ли вы использовать переменные среды в файле конфигурации для Fluent
Мне было интересно, как использовать env vars в конфигурации Fluentd, я пробовал:
<match **>
type elasticsearch
logstash_format true
logstash_prefix $ENV_VAR
host ***
port ***
include_tag_key true
tag_key _key
</match>
но это не...
12484 просмотров
schedule
12.11.2022
Исходный формат журнала Fluentd RegEX
У меня есть логи такого формата:
2015-02-25 18:33:06,975 INFO c.a.p.c.b.s.Monitor akka://application/user/daemons/monitor : 91 active threads, 4175691776 bytes used
Я подошел к этому регулярному выражению:
(?<time>[^ ]* [^ ]*)...
4316 просмотров
schedule
20.04.2024
Использование id_key с fluentd / elasticsearch
Недавно я начал пытаться использовать настройку fluentd + elasticsearch + kibana. В настоящее время я загружаю информацию через fluentd, заставляя его читать файл журнала, который я выплевываю с помощью кода Python. Журнал состоит из список данных...
785 просмотров
schedule
29.05.2022
Как просмотреть журналы JSON управляемой ВМ в средстве просмотра журналов?
Я пытаюсь получить журналы в формате JSON на экземпляре виртуальной машины Compute Engine, чтобы они отображались в средстве просмотра журналов консоли разработчика Google. Согласно этой документации , это должно быть возможно:
Приложения,...
1062 просмотров
schedule
08.08.2023
передать пользовательский двоичный формат в logstash
У меня есть несколько ежемесячных двоичных файлов журнала, которые я хотел бы отправить в logstash (или, возможно, в fluentd).
Проблема, с которой я сталкиваюсь, заключается в том, что (TTBOMK) файлы bin не читаются logstash, поэтому мне...
1037 просмотров
schedule
06.09.2022
узор не совпадает беглый эластичный поиск
Я придерживаюсь формата записи журналов в fluentd для журналов исключений magento.
единственное исключение exception.log
[2016-04-30 11:37:42] main.CRITICAL: exception 'Exception' with message 'Report ID: webapi-571f53065307a; Message:...
520 просмотров
schedule
16.05.2023
Fluentd не получает правильное имя контейнера докера после обновления ранчера
Представьте себе набор контейнеров, указанный в файле компоновки докера. Эти контейнеры работают с помощью владельца ранчо. Контейнеры настроены на использование драйвера журналирования Fluent. Драйвер ведения журнала отправляет сообщения...
376 просмотров
schedule
05.07.2023
Зависит ли fluentd от rsyslog?
Все еще ломаю голову над технологией логирования. Я следую рецепту от Fluid к Graylog2 , но не понимаю этот шаг:
Open /etc/rsyslog.conf and add the following line to the beginning of the file: *.* @127.0.0.1:5140 Then, restart rsyslogd by...
1032 просмотров
schedule
24.03.2023
Рассчитать продолжительность сеанса в Кибане
С помощью Kibana мне удалось визуализировать непрерывные запросы в виде линейной диаграммы:
используя линейный график
Ось Y: агрегирование: Count
Ось X: гистограмма даты с полем @timestamp
Разделенные строки: Субагрегация: Terms Поле...
989 просмотров
schedule
17.05.2022
Агрегированное ведение журнала OpenShift: анализ журнала доступа Apache
При использовании объединенного ведения журналов OpenShift я получаю журналы, которые хорошо загружаются в elasticsearch. Однако строка, зарегистрированная apache, заканчивается полем message .
Я хотел бы создавать запросы в Kibana, где я могу...
703 просмотров
schedule
12.06.2022
Как в fluentd преобразовать тип поля
В Logstash тип поля можно изменить с помощью конструкция mutate . Как это можно сделать в Fluentd ?
886 просмотров
schedule
13.07.2023
Как использовать fluentD для анализа многострочных журналов докеров?
Я пытаюсь агрегировать свою среду ведения журнала для составления докеров, используя драйвер fluentD, Fluent, Elastic, Kibana.
Журналы пересылаются правильно, но каждый вложенный объект JSON записывается как одно событие (см. изображение)....
1221 просмотров
schedule
13.11.2022
Интеграция с Fluentd-logstash
Я использую плагин fluentd out-http для интеграции с logstash, но получаю следующую ошибку:
не удалось создать журнал событий журнала fluentd tag = "fluent.info" event = {"type" => "syslog", "plugin_id" => "object: 3f923544ab40", "message" =>...
375 просмотров
schedule
21.12.2022
Как использовать регистратор для регистрации ошибки в stackdriver?
У меня есть микро-экземпляр виртуальной машины, работающий в вычислительном облаке Google, и я хочу записать сообщение об ошибке в stackdriver. Эта страница https://cloud.google.com/logging/docs/agent/installation показывает этот пример
logger...
381 просмотров
schedule
23.07.2022
fluentd не может/примечательно подключиться к elasticsearch, когда es установлен на другом порту
в моей среде докера есть эластичный поиск (ES-1), открытый для порта 9200, это основной ES для поддержки данных БД, поэтому для ведения журнала мы используем стек fluentd-elasticsearch-kibna с новым эластичным поиском, работающим на порту 9700....
1650 просмотров
schedule
15.07.2023
Openshift временно выбивает контейнер
У меня есть стек EFK, развернутый для входа в кластер openshift 3.6 со стандартной книгой воспроизведения Ansible, предоставляемой openshift. Таким образом, на каждом узле кластера работает один модуль fluentd, а всего два контейнера elasticsearch....
345 просмотров
schedule
05.03.2023
K8S EFK (особенно Fluentd) демон для драйвера ведения журнала docker journald
Вопрос
Известен ли доступный набор демонов Fluentd для журнального драйвера ведения журнала docker , чтобы я мог отправлять журналы модуля K8S в Elasticsearch?
Фон
Как и в случае добавить поддержку входа в kubeadm , драйвер регистрации по...
534 просмотров
schedule
25.09.2022
Fluentd Публикация в stdout, но не в Elasticsearch
Используя Docker, я настроил три контейнера: один для Elasticsearch, один для Fluent и один для Kibana. Elasticsearch работает на порту 9200, fluentd — на 24224, а Kibana — на 5600. Мой конфигурационный файл fluentd:
# INJECTED VIA DOCKER...
1140 просмотров
schedule
18.06.2022
fluentd не отправляет логи в stackdriver
У меня есть приложение, развернутое в kubernetes на GKE,
Версия Kubernetes : v1.7.11-gke.1
Stackdriver Logging включен в моем кластере
Изображение fluntd-gcp в моем кластере (по умолчанию):
gcr.io/google-containers/fluentd-gcp:2.0.9...
354 просмотров
schedule
18.10.2022
