Публикации по теме 'debezium'
Потоковая передача изменений данных в озеро данных с помощью конвейера Debezium и Delta Lake
Чтобы продемонстрировать, почему Debezium и Delta Lake составляют интересную комбинацию, особенно для случаев использования, связанных с приложениями микросервисов и большими данными, я расскажу историю, с которой я недавно столкнулся.
Пример использования клиента
Один из наших клиентов рассказал мне такую историю:
Компания делает приложение для микросервисов Каждый из их клиентов запускает собственный экземпляр приложения вместе с собственными базами данных. Они хотят..
Настройка Debezium для регистрации изменений PostgreSQL с помощью Docker Compose
Захват событий изменений из PostgreSQL с помощью Debezium, развернутого в Docker Compose
В этом руководстве вы узнаете, как развернуть образ Postgres Docker, который можно использовать с Debezium для сбора измененных данных (CDC). Захваченные изменения затем записываются в тему Kafka. Позже мы воспользуемся утилитой kafkacat , чтобы изучить содержание этой темы.
В учебном пособии предполагается:
Вы знакомы с базой данных PostgreSQL и Debezium. У вас есть практический опыт..
Вопросы по теме 'debezium'
Как захватить данные в mysql с помощью захвата данных изменения debezium и потребить с помощью приемника jdbc в kafka connect?
У меня проблема с захватом данных в mysql с захватом данных изменения debezium и их потреблением на другой mysql с помощью kafka connect jdbc.
Поскольку схема и полезные данные, которые debezium создает для темы kafka, несовместимы со схемой,...
1356 просмотров
schedule
08.04.2022
java - Debezium не может анализировать операторы DDL (create proc) соединитель mysql
Я интегрировал соединитель debezium в Kafka connect для потоковой передачи моих изменений mysql db. Для некоторых процедур не удается прочитать файлы двоичного журнала. Есть предложения или обходные пути? Застрял с этой проблемой. Могу ли я...
806 просмотров
schedule
19.04.2022
Работает ли Debezium с Percona Server и/или Percona XtraDB Cluster?
В качестве «замены» для MySQL, с той же семантикой binlog и репликации, я предполагаю, что где-нибудь в документации Debezium указано «mysql», я мог бы заменить его на «percona» (или, если уж на то пошло, MariaDB), но я хотел подтвердить, прежде чем...
269 просмотров
schedule
24.03.2023
Исходной задаче Debezium не удается повторно подключиться к базе данных postgresql при повторном создании контейнера БД
У нас есть кластер kubernetes, в котором Debezium работает как исходная задача из Postgresql и пишет в kafka. Debezium, postgres и kafka работают в отдельных модулях. Когда модуль postgres удаляется и kubernetes повторно создает модуль, модуль...
2185 просмотров
schedule
09.09.2022
Ошибка Debezium при подключении к мульти-брокеру kafka в рое докеров
когда я настроил свой Swarm с этим стеком: Kafka (мульти-брокер), zookeeper, debezium. Kafka и zookeeper работают, могут создать тему, потребителя и производителя, но debezium показывает ошибку: org.apache.kafka.connect.errors.ConnectException: не...
642 просмотров
schedule
01.11.2022
Принудительное обновление MongoDB
Я работаю над приложением, которое использует Debezium для потоковой передачи изменений из MongoDB в кластер Kafka. tl; dr — debezium следит за оплогом mongo для изменений в документе и сохраняет весь документ на kafka как json.
У нас есть куча...
217 просмотров
schedule
07.12.2022
Как установить offset.commit.policy на AlwaysCommitOffsetPolicy в debezium?
Я создал механизм Debezium Embedded для сбора данных об изменениях MySQL. Я хочу зафиксировать смещения как можно скорее. В коде создается конфигурация, включая следующие....
267 просмотров
schedule
10.07.2022
Debezium SQLServerConnector для Kakfa Connect не создает темы в Kafka
Я пытаюсь заставить SQLServerConnector от Debezium работать в Kafka Connect, и, похоже, все работает нормально, за исключением того, что темы не созданы. Я что-то упускаю?
Запускает задачу с правильными конфигами ...
Apr 16 15:30:00 horton5...
782 просмотров
schedule
16.12.2022
Debezium может создать недопустимую схему
У меня проблема с Avro и реестром схем. После того, как Debezium создал схему и тему, я загрузил схему из реестра схем. Я помещаю его в файл .asvc, и он выглядит так:
{
"type": "record",
"name": "Envelope",
"namespace":...
179 просмотров
schedule
31.05.2023
Как использовать debezium с представлениями вместо таблиц с подключением к sql server
Я пытался найти способ использовать views из sql server для использования в источнике kafka, соединенном с debezium, но cdc не позволяет этого.
Я также использовал индексированные представления, но cdc по-прежнему не распознает их и запрашивает...
208 просмотров
schedule
29.05.2023
debezium: java.sql.SQLException: не найдено подходящего драйвера: jdbc:oracle:oci:@orclnode:1527/mydb
Я получаю следующее исключение при запуске debezium с confluent enterprise.
На первый взгляд это выглядит как незначительная проблема, но я пробовал разные драйверы, и они у меня не работают. Debezium использует драйверы OCI, и это первый раз,...
460 просмотров
schedule
18.04.2023
Что делать, если коннектор источника debezium в kafka connect не работает в kafka
Я использую разъем источника debezium для подключения mongoDB с SMT и AvroConverter.
При возникновении ошибки сериализации из-за совместимости коннектор пропускает записи об ошибках или пытается отправить запись об ошибке?
Ставлю...
365 просмотров
schedule
03.12.2022
Ошибка подключения к SQL Server - Debezium - Kafka Connect
Мы пытаемся настроить SQL-Server->Debezium->Kafka Connect->Kafka Pipeline установку для нескольких таблиц в SQL-сервере (mssql)
При запуске установки появляется следующая ошибка: Журналы:
{
"name": "mssql-server-uat",...
627 просмотров
schedule
24.08.2022
Используйте ссылку debezium postgresql 11 Не удалось получить кодировку для теста базы данных
Я использую debezium cdc connect pg, и я создаю pg 11 для использования докером , pg работает хорошо. когда я использую debezium в коннекторе kafka , он сообщает :
Не удалось получить кодировку для теста базы данных
завиток:
curl -H...
867 просмотров
schedule
07.02.2023
Debezium CDC на PostgreSQL и транзакциях
Я хотел бы использовать Debezium для отслеживания измененных данных (CDC) в базе данных PostgreSQL. Прямо сейчас я не совсем понимаю, как работать с транзакциями в Debezium.
Рассмотрим следующий пример - у меня есть 2 таблицы в исходной базе данных...
286 просмотров
schedule
23.12.2023
Декодируйте схему событий debeuzium в значимую структуру данных в golang
Схема Debezium представляет собой строку (json):
{
"type":"record",
"name":"Envelope",
"namespace":"datapipe.inventory.customers",
"fields":[
{...
255 просмотров
schedule
07.08.2022
Конфигурация темы Kafka теряется после перезапуска docker-compose
Я запускаю kafka с помощью докера, настроил хранение данных на томе. Я установил несколько исходных соединителей, темы были созданы автоматически с помощью cleanup.policy delete . Используя менеджер kafka, я изменил политику на compact ....
996 просмотров
schedule
19.05.2022