Вопросы по теме 'confluent-platform'
Слияние темы Kafka с Kafka Подключение к HDFS
Можно ли настроить соединитель HDFS Kafka Connect для записи / объединения нескольких отдельных тем в один файл?
Темы будут содержать сообщения с той же схемой avro, и я хочу, чтобы KafkaConnect действовал как посредник между этими темами Kafka и...
553 просмотров
schedule
09.09.2023
Каталоги журналов Kafka в Docker
Когда я запускал kafka и zookeeper без Docker, я мог видеть файлы журнала разделов тем в каталоге / tmp / kafka-logs. Теперь с Docker, даже несмотря на то, что я указываю каталог журнала в разделе Volumes в docker-compose.yml, я не вижу файлы в...
6976 просмотров
schedule
07.05.2022
Коннектор Elasticsearch для Kafka Connect - смещение и временная метка
Я использую коннектор elasticsearch (конфлюэнтный) для подключения kafka. Я получаю сообщения из темы в индекс elasticsearch. Я вижу, что смещение является частью _id, если ключ не используется. Я хочу просматривать сообщения в elasticseach на...
939 просмотров
schedule
09.04.2022
Параметры производителя kafka требуют, чтобы одно сообщение вступило в силу
Я использую confluent-kafka-python ( https://github.com/confluentinc/confluent-kafka-python ) для отправки сообщений в Kafka с помощью Python. Я отправляю сообщения нечасто, поэтому хочу, чтобы задержка была очень низкой.
Если я сделаю это, я могу...
891 просмотров
schedule
08.06.2023
Коннектор приемника Kafka: задачи не назначены даже после перезапуска
Я использую Confluent 3.2 в наборе контейнеров Docker, в одном из которых работает работник kafka-connect.
По причинам, которые мне пока неясны, два из четырех моих коннекторов, а именно MongoDB-коннектор - перестал работать. Мне удалось...
3392 просмотров
schedule
01.03.2023
kafka с server.properties не выбирает log4j
используя Confluent kafka, который является супер-набором kafka. kafka запускается с ./bin/kafka-server-start ./etc/kafka/server.properties, но не выбирает log4j в ./etc/kafka/log4j.properties, не видит правильных журналов в консоли или / tmp /...
2820 просмотров
schedule
15.02.2023
Вручную установить смещение для идентификатора группы kafka
Я настроил свою платформу kafka, используя платформу Confluent (v3.2.0).
Мои приложения-потребители/производители запрограммированы на C# с использованием пакета NuGet " Confluent-Kafka ", чтобы добавить/получить данные в мои потоки kafka....
3962 просмотров
schedule
17.12.2022
Потребитель Kafka принимает потокобезопасность
Я использую клиент dotnet Confluent.Kafka .
namespace Confluent.Kafka
{
public class Consumer<TKey, TValue> : IDisposable
{
public Task<CommittedOffsets> CommitAsync();
}
}
Как видите, Consumer.CommitAsync —...
822 просмотров
schedule
14.03.2023
Как извлечь выгоду из определения схемы для сериализации / десериализации сообщения при использовании Avro + Schema Registry?
Я изучаю Kafka, и для меня имеет смысл использовать Avro, чтобы иметь тему Kafka со схемой.
Но мне что-то не хватает, когда дело доходит до того, где разместить определение схемы:
Если я не использую реестр схем, но имею файл Avro внутри...
402 просмотров
schedule
06.10.2022
kafka аварийное восстановление с репликацией диска wmware
Мы ищем несколько методов для аварийного восстановления кластера kafka. Мы знаем, что есть такие инструменты, как репликатор Confluent или Apache MirrorMaker. Но мы не хотим создавать еще один кластер kafka или самостоятельно обрабатывать смещение...
177 просмотров
schedule
03.06.2022
Исключение схемы при подключении приемника Kafka jdbc
Я пытаюсь вставить строки в свою таблицу Oracle с помощью подключения приемника Kafka jdbc. У меня есть сообщения в моей теме Kafka (JSON), как показано ниже;...
1544 просмотров
schedule
22.10.2023
Запрос Kafka JDBC Connect вызывает ORA-00933: команда SQL не завершена должным образом
У меня есть этот запрос Oracle SQL:
SELECT * FROM
(SELECT SO_ORDER_KEY,QUEUE_TYPE,SYS_NO,
DENSE_RANK() OVER (PARTITION BY SO_ORDER_KEY ORDER BY SYS_NO DESC) ORDER_RANK
FROM TSY940)
WHERE ORDER_RANK=1;
При запуске в SQL...
609 просмотров
schedule
15.04.2022
Получение сообщений из темы в концентраторе сообщений
Я пытаюсь получить сообщения из темы в концентраторе сообщений на bluemix, используя Confluent Kafka Python. Мой код находится ниже, но что-то не работает. Тема и концентратор сообщений запущены и работают, так что, вероятно, что-то с кодом....
329 просмотров
schedule
05.08.2022
Kafka-HDFS-Connector — отправка данных из Kafka в Hadoop
На машине A работает kafka, а на машине B установлен Hadoop. Теперь я хочу записать данные в хауп из кафки. Я установил Confluent Platform на компьютер A .
Может ли кто-нибудь указать, какую конфигурацию мне нужно добавить для записи данных...
5604 просмотров
schedule
04.04.2023
Как указать, какую тему слушать в конфлюэнтном коннекторе kafka?
В последнее время я работал над коннектором kafka, и я хотел знать, где настроить темы, которые должна прослушивать моя рабочая задача коннектора приемника.
Обычно SinkConnectorConfig выглядит так
name=MySinkConnector
tasks.max=1...
103 просмотров
schedule
18.08.2022
SQLException Не найден подходящий драйвер для сервера jdbc sql
Это ошибка, которую я получаю
[2018-04-19 21:58:19,651] ERROR Failed to create job for /kafka/salesforce-source.properties (org.apache.kafka.connect.cli.ConnectStandalone:102)
[2018-04-19 21:58:19,651] ERROR Stopping after connector error...
2704 просмотров
schedule
06.07.2023
Как создать тему Kafka с помощью Confluent.Kafka .Net Client
Кажется, это самый популярный .net-клиент для Kafka ( https://github.com/confluentinc/confluent-kafka-dotnet ) отсутствуют методы для настройки и создания тем. При звонке Producer.ProduceAsync() тема создается автоматически, но я не могу найти...
8643 просмотров
schedule
22.06.2022
Что означает десериализация ключа в классе Consumer в Confluent Kafka?
В документации по конфлюэнтной кафке говорится, что класс Consumer определяется следующим образом:
Class Consumer<TKey, TValue>
Приведенный выше потребительский класс реализует высокоуровневого потребителя Apache Kafka (с...
3063 просмотров
schedule
29.07.2023
Нужно ли нам вручную кэшировать реестр схем?
В настоящее время мы используем буферы протокола в качестве механизма сериализации для сообщений кафак. Собираемся переехать в Авро. Мы протестировали потребителя Avro Confluent с помощью Schema Registry, и, согласно этим тестам, потребитель Avro...
500 просмотров
schedule
16.08.2022
ElasticsearchSinkConnector Не удалось десериализовать данные в Avro
Я создал простейшую конфигурацию коннектора приемника kafka и использую confluent 4.1.0:
{
"connector.class":
"io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
"type.name": "test-type",
"tasks.max": "1",
"topics":...
1487 просмотров
schedule
20.12.2022
