Как данные отображаются в эластичном поиске в ELK?

Я новичок в ELK и продолжаю его изучать. В моем проекте они импортируют данные из Amazon S3 -> File Beat -> logstash -> Elastic search -> Kibanna.

В файле logstash они напрямую импортируют данные и отправляют в эластичный поиск что-то вроде ниже, и в файле конфигурации не упоминаются индексы,

output  elasticsearch 
{
hosts => ["http://localhost:9200"]
}

В Amazon s3 у нас есть журналы из Salesforce, и в будущем мы собираемся реализовать их из нескольких источников.

В эластичном поиске я увидел 41 индекс (скрипт Used Get Curl). Предположим, что если мы сохраним ту же настройку в logstash, тогда все журналы (из нескольких источников) будут отправлены в эластичный поиск одинаковым образом. Я хотел бы знать, как данные сопоставляются с конкретным индексом при эластичном поиске ??

Во многих руководствах они указывали индексы в файле конфигурации logstash, поэтому в kibanna мы могли видеть имя индекса вместе с отметкой времени. Я попытался проверить, поместив образец файла журнала Mulesoft в Amazon S3, но не могу найти эти данные в Kibanna. Итак, мне нужно создать еще один новый индекс с именем Mule вместе с сопоставлениями?

В моем проекте нет эксперта по ELK, поэтому, пожалуйста, расскажите мне, как подойти к нему, или любые ссылки будут более полезными.


person Vignesh    schedule 08.04.2020    source источник
comment
Привет, я не уверен, в чем твой вопрос. Вы хотите указать имя индекса Elasticsearch, в который logstash выводит данные? Затем вам нужно установить параметр index плагина вывода Elasticsearch ( amazon / TP-Link-TL-PA4010-Powerline-Ethernet-HomePlug / dp /)   -  person glenacota    schedule 08.04.2020


Ответы (1)


Эта страница (https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html) документирует выходной плагин Logstash Elasticsearch.

Как вы можете видеть в разделе «Параметры конфигурации», параметр index не обязателен. Если этот параметр не указан, его значение по умолчанию - logstash-%{+YYYY.MM.dd}.

При этом документы будут проиндексированы в индексы с префиксом logstash-, за которым следует дата загрузки. Например:

  • logstash-2020.04.07

  • logstash-2020.04.08

Поскольку кто-то в вашей организации выбрал значение по умолчанию, этот параметр можно не указывать. Это объясняет, почему вы не можете найти конкретное имя индекса в конфигурации Logstash. Если вам нужно индексировать документы по разным индексам, вам нужно будет установить конкретное значение для параметра index.

Elasticsearch автоматически создаст эти индексы с помощью динамического сопоставления (https://www.elastic.co/guide/en/elasticsearch/reference/current/dynamic-mapping.html), если вы заранее не настроили явное сопоставление с помощью шаблонов индекса. Чтобы увидеть данные в кибане, вам сначала нужно создать шаблон индекса, соответствующий имени индекса.

Я надеюсь, что смогу вам помочь.

person apt-get_install_skill    schedule 08.04.2020
comment
Спасибо за ответы. Я проверил его с помощью скрипта GET Curl, и я не вижу индекса с именем logstash-date. Я вижу индекс с именем sf-Apex, что-то вроде этого, который составляет около 40, присутствует аналогичный индекс, а также есть часть сопоставления. Пожалуйста, дайте мне знать, как подойти дальше. - person Vignesh; 08.04.2020
comment
То, что вы имеете в виду, имеет часть отображения. Будьте осторожны с отображением терминов в Elasticsearch. Что именно вы имеете в виду? Кроме того, вам нужно будет поделиться точной конфигурацией конвейера Logstash, чтобы мы могли вам помочь. Поэтому, пожалуйста, обновите исходный вопрос этой информацией. - person apt-get_install_skill; 08.04.2020
comment
Извините за путаницу, я понял, как они реализованы. Они использовали функцию Lambda для извлечения журналов из приложения и сохранения их в S3, а затем подталкивали журналы к определенному индексу непосредственно в ES. Спасибо за вашу помощь. Еще одно небольшое сомнение - если я создам задание cron в файле конфигурации logstash для извлечения данных из приложения Mule, данные будут сохранены на эластичном сервере ?? Значит, с помощью плагина вывода s3 я могу сохранить его в ведре s3 вместо эластичного облака? elastic.co/blog/ - person Vignesh; 10.04.2020