Публикации по теме kafka

Публикации по теме 'kafka'

Программирование Kafka : различные способы фиксации смещений

У Kafka есть одна прекрасная функция (помимо многих других, конечно) отслеживания позиции каждого потребителя, и он фантастически достигает этого с помощью Offsets . Цель этой статьи — рассмотреть ниже различные способы совершения смещений в kafka. Автоматическая фиксация Синхронная фиксация вручную Асинхронная фиксация вручную Ручная фиксация определенных смещений Что такое смещение кафки?: Смещение kafka — это уникальный идентификатор для каждого сообщения в разделе..

Kafka: введение в курс дела

В этой статье кратко изложено, что такое Kafka и какие функции она предоставляет. Она предназначена в качестве начального документа для команд, которые могут заинтересоваться Kafka в качестве своего решения для потоковой передачи данных и обмена сообщениями. Обзор Kafka — это потоковое решение для отправки и получения записей. Записи хранятся в темах Kafka, размещенных в кластерах Kafka. Темы разделены на разделы, которые являются базовой единицей разделения работы для..

Ручное подтверждение сообщения на Kafka

Kafka Consumer используется приложениями, которым необходимо считывать данные из Kafka, чтобы подписываться на темы и получать сообщения из этих тем. Есть несколько разных понятий и идей, связанных с чтением данных из Kafka по сравнению с чтением данных из других систем обмена сообщениями. Без предварительного понимания этих идей сложно понять, как использовать потребительский API. Затем мы рассмотрим несколько примеров, демонстрирующих различные способы использования потребительских..

Создание простого клиента Kafka для Интернета и рабочего стола

Несколько недель назад я написал краткое руководство по созданию простого собственного клиента Kafka с использованием веб-сокетов и ElectronJS. Пожалуйста, прочитайте его, если вам интересно. https://dzone.com/articles/building-a-simple-kafka-client-for-the-web-and-des

Введение, установка и реализация Apache Kafka с использованием .NET Core 6

Мы рассмотрим основы, установку и эксплуатацию Apache Kafka, а также пошаговую реализацию с использованием веб-приложения .NET Core 6. Повестка дня Обзор потоковой передачи событий Введение Apache Kafka Основные понятия и основа Кафки Различные API Kafka Варианты использования Apache Kafka Установка Кафки на Windows 10 Поэтапная реализация Предпосылки Визуальная студия 2022 Пакет SDK для .NET Core 6 SQL-сервер Java JDK 11 Апач Кафка Обзор потоковой передачи..

Использование источников событий для повышения производительности Elasticsearch

Постоянный поток обновлений документов может поставить кластер Elasticsearch на колени. К счастью, есть способы избежать этого сценария. Как мы видели в моей предыдущей статье , Elasticseach на самом деле не поддерживает обновления. В Elasticsearch обновление всегда означает удаление + создание. В предыдущем проекте мы использовали Elasticsearch для полнотекстового поиска, и нам нужно было сохранить некоторые сигналы, такие как новые подписчики, вместе с пользовательским документом...

Потоковая передача CDC в реальном времени с использованием Debezium, MySQL и Redpanda

Использование совместимости Redpanda с Debezium для потоковой передачи изменений из MySQL Эта статья была написана участником сообщества Redpanda Алмасом Максотовым. Введение: как настроить поток CDC в Redpanda В этом руководстве вы собираетесь создать поток CDC, используя Redpanda и Debezium. Обратите внимание, что вся экосистема Kafka Connect работает с Redpanda «из коробки», поскольку Redpanda API-совместима с Apache KafkaⓇ. Что такое сбор измененных данных (CDC)? CDC —..