Как посмотреть удержание по определенной теме в кафке

Я хочу увидеть установленный срок хранения для определенной темы. Есть ли какая-нибудь команда? Я пробовал с

bin/kafka-topics.sh --zookeeper hostname:2181 --alter --config retention.ms=172800000 --topic <topic_name>

для удаления данных двухдневной давности. Но я хочу посмотреть, сколько дней установлено в сроке хранения для всех тем.


apache-kafka retention
person manoj    schedule 14.12.2016    source источник

Ответы (4)


arrow_upward
55
arrow_downward

Если вы изменили тему и хотите просмотреть конфигурацию темы, вам будет полезна следующая команда

kafka-topics.sh --zookeeper localhost:2181 --describe --topics-with-overrides

Здесь будут описаны только темы вместе с конфигурациями, для которых установлены конфигурации, отличные от значений по умолчанию для кластера.

Если вы хотите просмотреть конфигурации для всех тем, вы можете просмотреть эти свойства log.retention.hours или log.retention.ms в server.properties в каталоге конфигурации kafka.

person Abhimanyu    schedule 22.02.2017

arrow_upward
15
arrow_downward

См. Конфигурацию log.retention.hours в Kafka Doc:

Количество часов для хранения файла журнала перед его удалением (в часах), третичное значение для свойства log.retention.ms

Значение по умолчанию - 168 часов, что составляет 7 дней.

person amethystic    schedule 14.12.2016

arrow_upward
2
arrow_downward

Альтернативные способы:

  1. используйте вызов sh-команды через контейнер
docker run --rm -it confluentinc/cp-kafka:latest sh -c "kafka-topics --zookeeper 11.22.33.44:5555 --describe --topic topic-name"

введите здесь описание изображения

  1. используйте инструмент Kafka

введите здесь описание изображения

Учтите, что будут отображаться только параметры, отличные от значений по умолчанию .

В приведенном выше примере retention.ms составляет 14 дней, по умолчанию - 7 дней.

person vladimir    schedule 11.03.2019

arrow_upward
1
arrow_downward

Просто приведенная ниже команда поможет

kafka-topics.sh --bootstrap-server ip_сервера: 9092 --describe --topic имя_темы

Вместе с другой информацией будет напечатан файл delete.retention.ms.

Образец вывода будет

Тема: ИМЯ ТЕМЫ PartitionCount: 6 ReplicationFactor: 1 Конфигурации: сжатие.type = gzip, segment.bytes = 1073741824, retention.ms = 100, max.message.bytes = 100001200, delete.retention.ms = 100000

Topic: TOPIC NAME   Partition: 0    Leader: 2   Replicas: 2 Isr: 2
Topic: TOPIC NAME   Partition: 1    Leader: 3   Replicas: 3 Isr: 3
Topic: TOPIC NAME   Partition: 2    Leader: 1   Replicas: 1 Isr: 1
Topic: TOPIC NAME   Partition: 3    Leader: 2   Replicas: 2 Isr: 2
Topic: TOPIC NAME   Partition: 4    Leader: 3   Replicas: 3 Isr: 3
Topic:  TOPIC NAME  Partition: 5    Leader: 1   Replicas: 1 Isr: 1
person Pramod Kishore    schedule 24.09.2019
comment
Эта команда возвращает только сведения о теме, мы не получаем срок хранения темы. - person MishraJi; 13.05.2020
comment
на самом деле вверху столбцов - person sam; 01.07.2020