Чтобы продемонстрировать, почему Debezium и Delta Lake составляют интересную комбинацию, особенно для случаев использования, связанных с приложениями микросервисов и большими данными, я расскажу историю, с которой я недавно столкнулся. Пример использования клиента Один из наших клиентов рассказал мне такую ​​историю: Компания делает приложение для микросервисов Каждый из их клиентов запускает собственный экземпляр приложения вместе с собственными базами данных. Они хотят..

Друзья не позволяют друзьям писать по-разному! Хотя микросервисы поддерживают свое состояние в частном порядке, они вряд ли работают изолированно. Некоторые бизнес-сценарии требуют, чтобы они сначала изменили свое состояние, а затем уведомили об этом изменении более широкую аудиторию. Паттерн Transactional Outbox описывает подход, позволяющий службам выполнять эти две задачи атомарно. В этом посте я обсуждаю, почему двойная запись в распределенных системах - это плохо, как вы..

Захват событий изменений из PostgreSQL с помощью Debezium, развернутого в Docker Compose В этом руководстве вы узнаете, как развернуть образ Postgres Docker, который можно использовать с Debezium для сбора измененных данных (CDC). Захваченные изменения затем записываются в тему Kafka. Позже мы воспользуемся утилитой kafkacat , чтобы изучить содержание этой темы. В учебном пособии предполагается: Вы знакомы с базой данных PostgreSQL и Debezium. У вас есть практический опыт..