Вопросы по теме 'kafka-consumer-api'
Завершить потребитель консоли Kafka, когда все сообщения будут прочитаны
Я знаю, что должен быть способ сделать это, но я не могу понять это. Мне нужно остановить потребителя kafka, как только я прочитаю все сообщения из очереди.
Может ли кто-нибудь предоставить любую информацию об этом?
12758 просмотров
schedule
02.05.2023
Ответ метаданных - неправильное имя хоста брокера
Я использую SimpleConsumer python-kafka для прослушивания темы в брокере kafka. Брокер Kafka работает на машине с именем хоста BROKER_HOST. Теперь SimpleConsumer запрашивает метаданные темы у брокера BROKER_HOST для темы TOPIC и получает кортеж....
1470 просмотров
schedule
20.06.2022
Kafka Consumer — как добавить тему
В сценарии, где у меня есть N потребителей (все потребители имеют 1 поток/без разделения), каждый подписан на отдельный набор тем, как обрабатывать новые темы, добавленные производителями?
Должен ли я создавать нового потребителя для каждой...
1094 просмотров
schedule
24.05.2022
Что означает ребалансировка в контексте Apache Kafka?
Я новый пользователь Kafka и пробую его уже около 2-3 недель. Я считаю, что на данный момент я хорошо понимаю, как работает Kafka по большей части, но после попытки приспособить API для моего собственного потребителя Kafka (это неясно, но я следую...
66552 просмотров
schedule
16.01.2024
Kafka Producer (0.8.2) — Как отследить, когда брокер не работает?
Благодарим вас за помощь в этом вопросе.
Я использую Кафку 0.8.2.
Вот код производителя, который я написал.
Проблема в том, что все работает нормально. Я могу опубликовать сообщение и получить подтверждение (метаданные) после успешной...
1169 просмотров
schedule
03.11.2022
Springframework.integration.kafka Итератор ConsumerContext находится в состоянии сбоя
При попытке использовать тему в моем Java-приложении я получаю следующее исключение:
org.springframework.integration.kafka.support.ConsumerConfiguration.executeTasks(ConsumerConfiguration.java:135)
... 32 more
Caused by:...
464 просмотров
schedule
04.04.2023
Будет ли kafka создавать нового последователя, если одна из его реплик не работает, чтобы не отставать от фактора репликации
Ниже приведена информация о моем разделе для темы xx_json_topic . Это кластер Kafka с тремя узлами.
Все узлы вверх:
Topic: xx_json_topic PartitionCount:4 ReplicationFactor:2 Configs:
Topic: xx_json_topic Partition: 0 Leader: 1...
868 просмотров
schedule
25.05.2022
Маршрутизация сообщений в кафке
Мы пытаемся создать платформу с использованием микросервисов, которые обмениваются данными асинхронно через кафку. В моем понимании казалось бы естественным иметь по одной теме для каждого совокупного типа в каждом микросервисе. Таким образом,...
6024 просмотров
schedule
07.05.2023
Использование узлов Kafka в Bluemix и Node-Red
Я пытаюсь использовать сообщения в приложении Bluemix node-red, используя входной узел Kafka (node-red-contrib-kafka-node). У меня есть служба концентратора сообщений, привязанная к моему приложению, и я пишу сообщения в тему, используя локальное...
1053 просмотров
schedule
24.02.2023
Зачетное удержание группы потребителей Kafka
Как долго кафка хранит смещение группы потребителей после сбоя всех потребителей в этой группе? Есть ли для этого конфигурационная переменная?
9724 просмотров
schedule
26.05.2022
Приостановить потребление Kafka высокого уровня
Ниже у меня есть потребитель Kafka, который я хочу приостановить в определенном состоянии, а затем возобновить его позже, чтобы использовать все предыдущее сообщение. Одна идея состоит в том, чтобы использовать общий флаг, который может быть обновлен...
1258 просмотров
schedule
23.04.2023
consumer.poll не получает записи из темы Kafka, имеющей 3 раздела
Примечание. Используемая версия Kafka: kafka_2.11-0.9.0.1
У меня есть 1 тема с именем test-kafka , которая обозначается как 3 partitions и 1 replication factor , и в этой теме есть некоторые строковые данные, то есть key and value pair в...
1442 просмотров
schedule
30.07.2023
Присоединение KafaConsumer к определенному разделу
Как прикрепить потребительский скрипт Python к определенному разделу kafka. При запуске двух экземпляров потребительского скрипта (приведенного ниже) каждый из них случайным образом выбирает один раздел, а затем потребляет/распечатывает все...
3336 просмотров
schedule
25.10.2022
Шторм читает данные из Кафки в java
Я написал, что производитель Kafka читает данные из MySQL, а потребитель Kafka Kafka извлекает данные от производителя.
Это работает хорошо. Вот мой код: [продюсер Kafka]
import java.util.Properties;
import java.sql.*;
import...
1117 просмотров
schedule
08.06.2023
Как я могу получить последнее / конечное смещение раздела темы kafka?
Я пишу kafka потребителю, использующему Java. Я хочу сохранить реальное время сообщения, поэтому, если есть слишком много сообщений, ожидающих использования, например 1000 или более, я должен отказаться от неиспользованных сообщений и начать...
73249 просмотров
schedule
14.09.2022
Настройка ACL для темы kafka
У меня есть незащищенный экземпляр kafka с 2 брокерами, все работало нормально, пока я не решил настроить ACL для тем, после настройки ACL мои потребители перестали опрашивать данные из Kafka, и я продолжаю получать предупреждение Ошибка при...
1688 просмотров
schedule
14.12.2022
Потребитель kafka не получает сообщение через удаленный
Привет, я новичок в kafka, и у меня есть быстрый вопрос.
Я реализовал zookeeper производителя и потребителя kafka, и производитель работает на другом сервере (192.168.10.233). Потребитель работает на другом сервере (192.168.10.234) Оба подключены...
1674 просмотров
schedule
18.04.2023
Могу ли я получить последнее доступное смещение для раздела Kafka без получения всех сообщений?
Глядя на последнюю (v0.10) Kafka Consumer документация :
" позиция потребителя дает смещение следующей записи, которая будет выдана. Оно будет на единицу больше, чем максимальное смещение, которое потребитель видел в этом разделе. Оно...
4703 просмотров
schedule
20.05.2022
Будет ли дублирование, если я использую две группы Kafka-0.8.0 SimpleConsumers
Это относится к примеру SimpleConsumer и Пример потребителя высокого уровня .
В соответствии с документацией предполагается, что SimpleConsumers сами несут ответственность за управление смещениями, и они могут выбрать чтение сообщения несколько...
45 просмотров
schedule
27.11.2022
Можем ли мы потерять сообщение kafka в случае отключения питания?
У меня есть теоретический вопрос о том, почему процесс Кафки терпит неудачу. Предположим, у нас есть только 1 раздел и 2 потребителя. Я знаю, что вряд ли будет такая ситуация, но это для примера, и я действительно хочу понять это лучше. Я включил...
560 просмотров
schedule
16.08.2022
