я хочу отфильтровать твит твита по дате плагина фильтра logstash, это поле "@timestamps": "2016-08-10T06:46:26.031Z"
, которое теперь есть у каждого твита, которое я хочу фильтровать на основе текущей даты и времени, если кто-нибудь мне поможет?
это моя конфигурация logstash
input {
twitter {
consumer_key => "key"
consumer_secret => "consumer key"
oauth_token => "aut"
oauth_token_secret => "oauth token"
keywords => [ "afghanistan", "TOLOnews", "kabul", "police"]
full_tweet => true
}
}
filter {
date {
match => ["timestamp" , "dd/MMM/yyyy:HH:mm:ss Z"]
}
}
output {
stdout { codec => dots }
elasticsearch {
hosts => "10.20.1.168"
index => "twitter-%+YYYY.MM.DD"
document_type => "tweets"
}
}
но это не работает, потому что он индексирует большинство твитов твитов