как отфильтровать твит твиттера по дате с помощью плагина фильтра даты logstash

я хочу отфильтровать твит твита по дате плагина фильтра logstash, это поле "@timestamps": "2016-08-10T06:46:26.031Z", которое теперь есть у каждого твита, которое я хочу фильтровать на основе текущей даты и времени, если кто-нибудь мне поможет?

это моя конфигурация logstash

input {
twitter {
consumer_key => "key"
consumer_secret => "consumer key"
oauth_token => "aut"
oauth_token_secret => "oauth token"
keywords => [ "afghanistan", "TOLOnews", "kabul", "police"]
full_tweet => true
}
}

filter {
  date {
      match => ["timestamp" , "dd/MMM/yyyy:HH:mm:ss Z"]
  }
}
output {
   stdout { codec => dots }
    elasticsearch {
        hosts => "10.20.1.168"

        index => "twitter-%+YYYY.MM.DD"
        document_type => "tweets"
    }
}

но это не работает, потому что он индексирует большинство твитов твитов


person jamal    schedule 12.11.2016    source источник
comment
Что происходит, когда вы это делаете? Что вы подразумеваете под индексом большинства твитов?   -  person Kulasangar    schedule 16.11.2016
comment
Возможный дубликат игнорировать входящие записи logstash, которые старше чем заданная дата и Как фильтровать входные данные logstash на основе даты подачи?, последний из которых принадлежит тому же пользователю   -  person Olivier    schedule 17.11.2016