Коннектор Elasticsearch для Kafka Connect - смещение и временная метка

Я использую коннектор elasticsearch (конфлюэнтный) для подключения kafka. Я получаю сообщения из темы в индекс elasticsearch. Я вижу, что смещение является частью _id, если ключ не используется. Я хочу просматривать сообщения в elasticseach на основе смещений и отметок времени.

Можно ли получить смещение и временную метку сообщения в виде полей в индексе?

Вот документ elasticsearch

{ "_index": "test-elasticsearch-sink", "_type": "kafka-connect", "_id": "test-elasticsearch-sink+0+0", "_score": 1, "_source": { "f1": "value1" } }

Спасибо, Раджеш


person Rajesh    schedule 17.11.2016    source источник


Ответы (2)


В настоящее время это невозможно, но мы думаем о функции, которая позволит переносить метаданные записи, такие как timestamp, topic, partition, offset, в поля.

person shikhar    schedule 17.11.2016
comment
Большой! Спасибо, шихар. - person Rajesh; 18.11.2016

Используя преобразование одиночного сообщения, вы действительно можете добавлять новые поля, включая такие значения, как смещение и временная метка. Взгляните на org.apache.kafka.connect.transforms.InsertField.

person Robin Moffatt    schedule 07.09.2017