ELK: чтение CSV из тайника журнала задерживается

Я новичок в системе ELK и пытаюсь настроить систему на своем локальном компьютере с Windows Server 2016 r2, который имеет 256 ГБ ОЗУ и процессоры 2. Поэтому я загрузил logstash, elasticSearch и kibana на свою машину. Цель состоит в том, чтобы у меня было много CSV-файлов, которые я получу с удаленного компьютера в определенной папке. Когда у меня есть эти CSV-файлы, я хочу извлечь из них данные и поместить их в эластичный поиск. Моя конфигурация logstash такая

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.


input {
    file {
        path=> "D:/File-upload-server/uploads/*.csv"
    }
}

filter{
    csv
    {
    separator => ","
    columns => ["PRODUCTID","cost","seller","buyer","address","city","state","pincode"]
    }
}

output {

elasticsearch
{
    hosts =>    ["localhost:9200"]
    index =>    ["mydata"]
}

}

Когда я вижу http://localhost:9200/_cat/indices?v, я нахожу записи, как

health status index                 uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .kibana_task_manager  CD7ljRARROe-2YnvzYhbFw   1   0          2            0     29.5kb         29.5kb
yellow open   mydata               XmTpG5PrQT-c6dQrjkbjIg   1   1          7            0     31.1kb         31.1kb
green  open   .kibana_1             qhQ84QNvTSSrl0eRxvKj0g   1   0          5            1     32.5kb         32.5kb

Обратите внимание, что значение docs.count увеличивается при отправке нового файла.

Когда в папку D:/File-upload-server/uploads приходит новый файл, я обнаруживаю, что новый файл выбирается примерно через 20 минут. Машина вообще не загружена. Все ресурсы доступны для этой установки.

какой должна быть идеальная конфигурация или я сделал неправильную конфигурацию.


logstash elk
person MAG    schedule 29.08.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Поскольку CSV-файлы готовы к использованию из logstash, я предлагаю попробовать открыть файлы в режиме «чтения», чтобы прочитать их до EOF и продолжить поиск новых предстоящих CSV-файлов. Из-за режима по умолчанию «хвост», я подозреваю, что он ждет определенное время до поиска следующих файлов.

input {
    file {
        path=> "D:/File-upload-server/uploads/*.csv"
        mode => "read"
    }
}
person Alexadreison    schedule 29.08.2019