Сравнение обработки журналов и PDF-файлов в Solr и Elasticsearch и визуализации данных в Banana и Kibana

Как Elasticsearch и Solr сравниваются в отношении следующего:

  1. Журналы индексации.
  2. Индексация событий.
  3. Индексация PDF-документов.
  4. Простота создания и распространения визуализаций. Кибана против Банана.
  5. Поддержка и документация для разработчиков.

Любая помощь приветствуется.

ИЗМЕНИТЬ

В частности, я пытаюсь выяснить, как именно PDF-документ или событие вообще могут быть проиндексированы. Я немного поработал над Elasticsearch, и, поскольку я фанат JSON, я нашел его весьма полезным, когда пытался индексировать структурированные данные.

Например, журналы в основном структурированы, и поэтому я думаю, что их легче индексировать и искать. А что, если я хочу проиндексировать весь файл журнала?

Продолжение

Является ли Kibana единственным инструментом визуализации, доступным для Elasticsearch?

Является ли Banana единственным инструментом визуализации, доступным для Solr?


solr lucene kibana-4 banana
person AbtPst    schedule 29.10.2015    source источник
comment
Таким образом, это вообще не отвечает на ваши вопросы, поскольку вы сосредоточены на ведении журнала, а просто на то, на что стоит обратить внимание: stackoverflow.com/questions/10213009/solr-vs-elasticsearch. Я думаю, что пост действительно может сводиться к сравнению банана и кибаны (а не к тому, что передает название). Еще одна ключевая вещь — это обработка pdf-документов, для которых вам могут понадобиться плагины (по крайней мере, для Elasticsearch).   -  person eemp    schedule 29.10.2015
comment
понизить? я должен быть более конкретным?   -  person AbtPst    schedule 29.10.2015
comment
О, я не минусовал это. Я думаю, что вопрос можно немного обновить, чтобы немного сосредоточиться на ваших требованиях и убрать общие материалы elasticsearch vs solr. Но мне кажется, что это хороший вопрос, который мне самому интересен. Учитывая сообщение stackoverflow, на которое я ссылался ранее, и его популярность, я не понимаю, почему кибана против банана не может быть хорошим постом. Конечно, ваш пост больше, чем просто это. Вы смотрели на Logstash в целом? Но я думаю, что заголовок поста и само содержание требуют некоторой доработки.   -  person eemp    schedule 29.10.2015
comment
Спасибо! тем временем, пожалуйста, не стесняйтесь редактировать вопрос, если у вас есть какие-либо предложения   -  person AbtPst    schedule 29.10.2015
comment
Я попробовал - нужно проверить. Я стараюсь придерживаться незначительных правок и не говорить за постер. Но, пожалуйста, проверьте, принято ли, и измените его, если он вам не нравится.   -  person eemp    schedule 29.10.2015
comment
Спасибо! это было действительно полезно :)   -  person AbtPst    schedule 29.10.2015

Ответы (1)


arrow_upward
1
arrow_downward

Вот ответ, чтобы попытаться решить только аспект сообщения Elasticsearch.

Взгляните на https://github.com/elastic/elasticsearch-mapper-attachments. для работы с PDF

Для событий/журналов вам потребуется преобразовать их в структурированные данные для индексации в Elasticsearch. У вас может быть поле для источника (файл журнала, из которого были получены данные, и другая подобная информация) - у вас будут все данные во всем файле журнала, проиндексированные таким образом. Вы можете воспользоваться агрегацией ES для группировки результатов на основе файла журнала, расчета статистики и т. д.

На стек ELK определенно стоит обратить внимание.

Я не знаю, является ли Kibana единственным инструментом визуализации, но он, вероятно, самый популярный и, вероятно, предлагает больше, чем что-то еще.

person eemp    schedule 30.10.2015
comment
спасибо чувак :) вложение картографа потрясающее! есть ли что-то подобное для Solr? - person AbtPst; 30.10.2015
comment
Извините, не совсем уверен насчет Solr - никогда с ним не работал. - person eemp; 30.10.2015