Публикации по теме 'kafka'


Внутреннее устройство Apache Kafka
Кафка вездесущ. Каждая организация использует Kafka в той или иной форме: поиск событий, перемещение данных между системами, неизменяемое хранилище данных, сервисы разделения. Kafka стала нервной системой каждой организации, работающей с данными, и это правильно, потому что она предлагает вам множество конфигураций, которые вы можете настроить, чтобы сделать ее пригодной для различных вариантов использования. При правильном наборе настроек он может выступать в качестве надежного..
Нет необходимости в реестре схем в ваших тестах Spring-Kafka
Фреймворк Spring имеет отличную поддержку для тестирования вашего приложения Spring с помощью Apache Kafka. Вы добавляете spring-kafka-dependency в свой файл maven pom.xml и аннотируете свой тестовый класс с помощью @EmbbededKafka, а Spring сделает все остальное. Spring запустит встроенный Kafka на каком-то случайном порту, и вы готовы протестировать свое приложение. Это не настоящая готовая к эксплуатации Kafka, но для тестирования ее достаточно. Вы можете проверить, отправляет..
Распределенные потребители Kafka с использованием Ray - Python
Как написать распределенный потребитель Kafka на Python с помощью Ray Вступление В этом блоге я попытаюсь передать суть - несколько компонентов Ray, которые мы будем использовать затем поработайте над тем, как мы можем использовать Ray для создания распределенных потребителей Kafka для нашей обработки Stream. Предоставление хотя бы одной гарантии. и, наконец, предоставить REST API для управления этими потребителями. Почему Ray для потоковой обработки? Многие команды..
Интересная статья…
Интересная статья… Мне не хватает еще одного варианта, например, чтобы лучше справиться с этой проблемой, которую вы описали: Все хранилища объектов, включая S3, GCS и хранилище BLOB-объектов Azure, являются неизменяемыми. Это означает, что файлы, однажды записанные в хранилище объектов, уже нельзя будет редактировать. Пользователи могут только жестко удалить старый файл и создать новый или логически удалить старый файл и создать новый (управление версиями). Используйте Apache..
Полное руководство по созданию событийного приложения с помощью Kotlin, Kafka и DynamoDB
Создайте собственное приложение, управляемое событиями Вступление Управляемое событиями приложение - это приложение, которое слушает и реагирует на события или действия в той или иной форме. Эти события или действия могут исходить от пользователей или из других приложений. Например, событием может быть закрытие пользователем своей учетной записи, служба, которая изменяет входящие данные и выводит результат, и так далее. По сути, событие - это все, что приводит к изменению..
Все, что вам нужно знать об Apache Kafka
Что такое Кафка? Apache Kafka — это система обмена сообщениями, созданная для работы с большими данными. Подобно Apache ActiveMQ или RabbitMq , Kafka позволяет приложениям, созданным на разных платформах, взаимодействовать посредством асинхронной передачи сообщений. Но Kafka отличается от этих более традиционных систем обмена сообщениями ключевыми моментами: Он предназначен для горизонтального масштабирования за счет добавления большего количества стандартных серверов. Он..
Управляемые событиями микросервисы с Spring Cloud Stream
Публикация и использование сообщений с помощью Spring Cloud Stream и брокера сообщений Apache Kafka Вступление Архитектура, управляемая событиями, требует предусмотрительности, создание каркаса для интеграции популярных платформ потоковой передачи событий может оказаться сложным. Spring Cloud Stream - это платформа для приложений микросервисов, управляемых сообщениями, и она предоставляет реализации связывателей для различных брокеров сообщений, RabbitMQ, Apache Kafka, Kafka Streams,..