Чтение файлов журнала из zip-файла с помощью logstash-forwarding

Я использую logstash-forwarder для отправки журналов на сервер logstash с помощью плагина ввода дровосека.

Одним из моих требований является чтение журналов из старых заархивированных файлов .ZIP с помощью logstash-forwarder. Я попытался использовать .zip в своем файле конфигурации следующим образом.

"files": [
    {
      "paths": ["C:\\jboss-eap-6.1.0.Alpha\\standalone\\log\\**\\*.zip"
     }
 ]

Но это не работает.

Пожалуйста, дайте мне знать, возможно ли прочитать журналы из файла .ZIP.

заранее спасибо.


logstash kibana logstash-forwarder
person Abhishek    schedule 08.01.2016    source источник
comment
Filebeat — это замена logstash-forwarder. Оба не поддерживают эту функцию, но для этого существует открытая проблема: github.com/elastic/ beats/issues/637 Я рекомендую вам следить за выпуском, чтобы узнать подробности и прогресс.   -  person ruflin    schedule 10.01.2016

Ответы (1)


arrow_upward
1
arrow_downward

logstash-forwarder действительно предназначен для отправки последней информации журнала в logstash. Это в основном делает «хвост -f» вашего файла журнала и отправляет новый материал. Таким образом, он (и большинство грузоотправителей) не обрабатывает файлы, сжатые gzip.

Один из вариантов — разархивировать их и отправить.

Также есть кодек gzip_lines, который вы можете установить, хотя мне не удалось заставить его работать в logstash 1.5.

Входной фильтр S3 обрабатывает заархивированные файлы (поскольку он знает, что вы не выполняете потоковую передачу с S3).

person Alain Collins    schedule 08.01.2016
comment
Да, вы правы, нет возможности читать из архивных zip-файлов. - person Abhishek; 10.11.2019