Logstash смешивает многострочные журналы

Я ввожу журналы с помощью пересылки Logstash и использую многострочный фильтр для создания журналов в сообщениях (каждый журнал состоит как минимум из 2 строк). Проблема в том, что иногда сообщения смешиваются.

Примером файла с 3 журналами будет

Заголовок1 Тело1

Заголовок2 Тело2

Заголовок3 Тело3

Но журналы могут появиться позже, как

Заголовок1 Тело2 Тело1

Заголовок2

Заголовок3 Тело3

Я использую stream_identity => "%{host}.%{path}.%{type}.%{file}", но поскольку эти два журнала являются частью одного и того же файла, это не нарушается.

Похоже, это проблема, связанная с сетевым трафиком, так как иногда он идеально анализирует все журналы, а иногда шифрует почти все из них.

Могу ли я как-то гарантировать, что журналы будут построены в правильном порядке?


person Peter Sampson    schedule 23.07.2015    source источник
comment
У вас есть несколько входов?   -  person Michael    schedule 24.07.2015
comment
Единственный вход - лесоруб.   -  person Peter Sampson    schedule 28.07.2015
comment
Почему бы вам не использовать logstash на своем клиенте вместо logstash forwarder, добавить туда многострочный фильтр и поставить его на свой сервер через сборку logstash в udp-output/udp-input? Таким образом, журналы не могут быть перемешаны.   -  person Klaus    schedule 29.07.2015
comment
Я сделал это, и он отлично работает, если хотите, я опубликую свои конфигурационные файлы в качестве ответа. Или вы можете найти некоторые из них в вопросе, который я задал.   -  person Klaus    schedule 29.07.2015
comment
Я изучал это раньше, но не смог найти много примеров людей, использующих его вместо пересылки logstash. Логсташ-форвардер с мультилайном иногда работает идеально, а иногда ужасно. Я попробую заменить logstash-forwarder на logstash, если не найду решения этой проблемы.   -  person Peter Sampson    schedule 29.07.2015