Что делать, если коннектор источника debezium в kafka connect не работает в kafka

Я использую разъем источника debezium для подключения mongoDB с SMT и AvroConverter.

При возникновении ошибки сериализации из-за совместимости коннектор пропускает записи об ошибках или пытается отправить запись об ошибке?

Ставлю error.tolerance = 'all' (должно бытьerrors.tolerance = 'all'). Я думаю, что коннектор не передает смещение обратно в kafka, поэтому коннектор продолжает повторять попытки отправки записи, я прав?


apache-kafka apache-kafka-connect debezium
person HungUnicorn    schedule 20.02.2020    source источник
comment
Вы имеете в виду errors.tolerance?   -  person Iskuskov Alexander    schedule 20.02.2020
comment
Можете ли вы объяснить, как вернуть смещение в кафку?   -  person Iskuskov Alexander    schedule 21.02.2020
comment
Когда приходят записи кафка, позиция оплога фиксируется на кафке?   -  person HungUnicorn    schedule 21.02.2020
comment
›Платформа Kafka Connect автоматически фиксирует смещения для темы, настроенной свойством offset.storage.topic. Когда рабочий процесс или задача Connect перезапускается, он может использовать SourceTaskContext задачи для получения OffsetStorageReader, у которого есть метод смещения для получения последнего смещения, записанного для данного исходного раздела. Затем задача может использовать информацию о смещении и разделах, чтобы возобновить импорт данных из источника без дублирования или пропуска записей. (Источник)   -  person Iskuskov Alexander    schedule 21.02.2020
comment
Также проверьте debezium.io/documentation/faq/.   -  person Iskuskov Alexander    schedule 21.02.2020

Ответы (1)


arrow_upward
1
arrow_downward

Если я правильно понимаю, вы можете настроить поведение повторов, например:

# retry for at most 10 minutes times waiting up to 30 seconds between consecutive failures
errors.retry.timeout=600000
errors.retry.delay.max.ms=30000

Если достигнут предел повторных попыток для сбоя, то предел допуска используется, чтобы определить, следует ли пропустить эту запись (errors.tolerance=all), или если задача должна быть завершена (errors.tolerance=none).

Подробнее см. KIP -298: обработка ошибок в Connect.

person Iskuskov Alexander    schedule 20.02.2020