Logstash не добавляет поля

Я использую Logstash 1.4.2, и у меня есть следующий файл conf.

Я ожидал увидеть в Kibana в разделе «Поля» слева параметры «Receive_at», «Received_from» и «description», но я этого не делаю.

я понимаю

  • @timestamp
  • @версия
  • _id
  • _показатель
  • _type путь к хосту

Я вижу в разделе _source справа следующее ...

receive_at: 2015-05-11 14:19:40 UTC receive_from: PGP02 descriptionError1!

Так что домой, их нет в списке «Популярные поля»?

Я хотел бы отфильтровать правую часть, чтобы не отображать КАЖДОЕ поле в разделе _source справа. Извините за блокировку редактирования.

Снимок экрана

input
{
    file {
        path => "C:/ServerErrlogs/office-log.txt"
        start_position => "beginning"
        sincedb_path => "c:/tools/logstash-1.4.2/office-log.sincedb"
        tags =>  ["product_qa", "office"]
    }
    file {
        path => "C:/ServerErrlogs/dis-log.txt"
        start_position => "beginning"
        sincedb_path => "c:/tools/logstash-1.4.2/dis-log.sincedb"
        tags =>  ["product_qa", "dist"]
    }   

}
filter {

    grok {
        match => ["path","%{GREEDYDATA}/%{GREEDYDATA:filename}\.log"]
        match => [ "message", "%{TIMESTAMP_ISO8601:logdate}: %{LOGLEVEL:loglevel} (?<logmessage>.*)" ]
        add_field => [ "received_at", "%{@timestamp}" ]
        add_field => [ "received_from", "%{host}" ]     
    }
    date {
        match => [ "logdate", "ISO8601", "yyyy-MM-dd HH:mm:ss,SSSSSSSSS" ]
    }
    #logdate is now parsed into timestamp, remove original log message too
    mutate {
        remove_field => ['message', 'logdate' ]
        add_field => [ "description", "Error1!" ]
    }
}

output {
  elasticsearch {          
    protocol => "http"
    host => "0.0.0.x"
  }
}

Обновлять:

Я устал искать по запросу вроде:

теги: данные И уровень журнала: ИНФОРМАЦИЯ

затем сохраните этот запрос и перезагрузите страницу.

Но все же я не вижу, чтобы лог-уровень отображался как «Популярные поля».


logstash kibana kibana-4
person jeff porter    schedule 11.05.2015    source источник
comment
Популярные поля - это поля, которые ранее использовались в другом поиске - чтобы что-то там отображалось, вам нужно использовать это хотя бы один раз.   -  person Alcanzar    schedule 11.05.2015

Ответы (2)


arrow_upward
2
arrow_downward

Если поля не отображаются слева, это, вероятно, проблема с кибаной. Перейдите в «Настройки» -> «Индексы», выберите свой индекс и нажмите оранжевую кнопку «Обновить».

person Alain Collins    schedule 12.05.2015
comment
По одному на каждый раз, когда нам всем приходилось нажимать «Обновить»! :) - person Alain Collins; 08.05.2017

arrow_upward
0
arrow_downward

У меня была такая же проблема с logstash, не добавляющим поля, и после довольно большого поиска и тестирования других вещей внезапно у меня было решение (но я использую logstash-logback-encoder, поэтому у меня уже есть JSON - если вы этого не сделаете, вам нужно преобразовать все в JSON во входной фазе logstash) .

Я добавил плагин-фильтр "json", который сотворил за меня чудеса:

filter {
    json {
        source => "message"
    }
}
person jonashackt    schedule 27.08.2015