Публикации по теме 'debezium'


Потоковая передача изменений данных в озеро данных с помощью конвейера Debezium и Delta Lake
Чтобы продемонстрировать, почему Debezium и Delta Lake составляют интересную комбинацию, особенно для случаев использования, связанных с приложениями микросервисов и большими данными, я расскажу историю, с которой я недавно столкнулся. Пример использования клиента Один из наших клиентов рассказал мне такую ​​историю: Компания делает приложение для микросервисов Каждый из их клиентов запускает собственный экземпляр приложения вместе с собственными базами данных. Они хотят..

Настройка Debezium для регистрации изменений PostgreSQL с помощью Docker Compose
Захват событий изменений из PostgreSQL с помощью Debezium, развернутого в Docker Compose В этом руководстве вы узнаете, как развернуть образ Postgres Docker, который можно использовать с Debezium для сбора измененных данных (CDC). Захваченные изменения затем записываются в тему Kafka. Позже мы воспользуемся утилитой kafkacat , чтобы изучить содержание этой темы. В учебном пособии предполагается: Вы знакомы с базой данных PostgreSQL и Debezium. У вас есть практический опыт..

Вопросы по теме 'debezium'

Как захватить данные в mysql с помощью захвата данных изменения debezium и потребить с помощью приемника jdbc в kafka connect?
У меня проблема с захватом данных в mysql с захватом данных изменения debezium и их потреблением на другой mysql с помощью kafka connect jdbc. Поскольку схема и полезные данные, которые debezium создает для темы kafka, несовместимы со схемой,...
1356 просмотров

java - Debezium не может анализировать операторы DDL (create proc) соединитель mysql
Я интегрировал соединитель debezium в Kafka connect для потоковой передачи моих изменений mysql db. Для некоторых процедур не удается прочитать файлы двоичного журнала. Есть предложения или обходные пути? Застрял с этой проблемой. Могу ли я...
806 просмотров

Работает ли Debezium с Percona Server и/или Percona XtraDB Cluster?
В качестве «замены» для MySQL, с той же семантикой binlog и репликации, я предполагаю, что где-нибудь в документации Debezium указано «mysql», я мог бы заменить его на «percona» (или, если уж на то пошло, MariaDB), но я хотел подтвердить, прежде чем...
269 просмотров

Исходной задаче Debezium не удается повторно подключиться к базе данных postgresql при повторном создании контейнера БД
У нас есть кластер kubernetes, в котором Debezium работает как исходная задача из Postgresql и пишет в kafka. Debezium, postgres и kafka работают в отдельных модулях. Когда модуль postgres удаляется и kubernetes повторно создает модуль, модуль...
2185 просмотров

Ошибка Debezium при подключении к мульти-брокеру kafka в рое докеров
когда я настроил свой Swarm с этим стеком: Kafka (мульти-брокер), zookeeper, debezium. Kafka и zookeeper работают, могут создать тему, потребителя и производителя, но debezium показывает ошибку: org.apache.kafka.connect.errors.ConnectException: не...
642 просмотров
schedule 01.11.2022

Принудительное обновление MongoDB
Я работаю над приложением, которое использует Debezium для потоковой передачи изменений из MongoDB в кластер Kafka. tl; dr — debezium следит за оплогом mongo для изменений в документе и сохраняет весь документ на kafka как json. У нас есть куча...
217 просмотров
schedule 07.12.2022

Как установить offset.commit.policy на AlwaysCommitOffsetPolicy в debezium?
Я создал механизм Debezium Embedded для сбора данных об изменениях MySQL. Я хочу зафиксировать смещения как можно скорее. В коде создается конфигурация, включая следующие....
267 просмотров
schedule 10.07.2022

Debezium SQLServerConnector для Kakfa Connect не создает темы в Kafka
Я пытаюсь заставить SQLServerConnector от Debezium работать в Kafka Connect, и, похоже, все работает нормально, за исключением того, что темы не созданы. Я что-то упускаю? Запускает задачу с правильными конфигами ... Apr 16 15:30:00 horton5...
782 просмотров

Debezium может создать недопустимую схему
У меня проблема с Avro и реестром схем. После того, как Debezium создал схему и тему, я загрузил схему из реестра схем. Я помещаю его в файл .asvc, и он выглядит так: { "type": "record", "name": "Envelope", "namespace":...
179 просмотров

Как использовать debezium с представлениями вместо таблиц с подключением к sql server
Я пытался найти способ использовать views из sql server для использования в источнике kafka, соединенном с debezium, но cdc не позволяет этого. Я также использовал индексированные представления, но cdc по-прежнему не распознает их и запрашивает...
208 просмотров

debezium: java.sql.SQLException: не найдено подходящего драйвера: jdbc:oracle:oci:@orclnode:1527/mydb
Я получаю следующее исключение при запуске debezium с confluent enterprise. На первый взгляд это выглядит как незначительная проблема, но я пробовал разные драйверы, и они у меня не работают. Debezium использует драйверы OCI, и это первый раз,...
460 просмотров

Что делать, если коннектор источника debezium в kafka connect не работает в kafka
Я использую разъем источника debezium для подключения mongoDB с SMT и AvroConverter. При возникновении ошибки сериализации из-за совместимости коннектор пропускает записи об ошибках или пытается отправить запись об ошибке? Ставлю...
365 просмотров

Ошибка подключения к SQL Server - Debezium - Kafka Connect
Мы пытаемся настроить SQL-Server->Debezium->Kafka Connect->Kafka Pipeline установку для нескольких таблиц в SQL-сервере (mssql) При запуске установки появляется следующая ошибка: Журналы: { "name": "mssql-server-uat",...
627 просмотров

Используйте ссылку debezium postgresql 11 Не удалось получить кодировку для теста базы данных
Я использую debezium cdc connect pg, и я создаю pg 11 для использования докером , pg работает хорошо. когда я использую debezium в коннекторе kafka , он сообщает : Не удалось получить кодировку для теста базы данных завиток: curl -H...
867 просмотров

Debezium CDC на PostgreSQL и транзакциях
Я хотел бы использовать Debezium для отслеживания измененных данных (CDC) в базе данных PostgreSQL. Прямо сейчас я не совсем понимаю, как работать с транзакциями в Debezium. Рассмотрим следующий пример - у меня есть 2 таблицы в исходной базе данных...
286 просмотров
schedule 23.12.2023

Декодируйте схему событий debeuzium в значимую структуру данных в golang
Схема Debezium представляет собой строку (json): { "type":"record", "name":"Envelope", "namespace":"datapipe.inventory.customers", "fields":[ {...
255 просмотров
schedule 07.08.2022

Конфигурация темы Kafka теряется после перезапуска docker-compose
Я запускаю kafka с помощью докера, настроил хранение данных на томе. Я установил несколько исходных соединителей, темы были созданы автоматически с помощью cleanup.policy delete . Используя менеджер kafka, я изменил политику на compact ....
996 просмотров
schedule 19.05.2022