Узел имени Hadoop и узел журнала автоматически занимают место на диске

Я новичок в хаупе.

Я установил свою установку hbase с помощью Cloudera (обычная установка) на 5 серверов. Я создал некоторую таблицу и заполнил некоторые данные.

Теперь я следил за размерами папки hdfs. Я вижу, что узел данных продолжает давать стабильные показания. Но использование диска узла имени и журнала увеличивается каждый раз, когда я проверяю.

Хотя у меня есть небольшой объем данных, узел журнала и узлы имен увеличиваются на 30 МБ (приблизительно) в день.

Я что-то упустил в настройках?


hadoop cloudera apache-zookeeper hbase cloudera-manager
person Bijesh CHandran    schedule 22.11.2013    source источник
comment
Вы должны порыться в папках, в которых находятся эти файлы с du -sh, и выяснить, что занимает место. Это могут быть журналы, файлы изображений/редактирования или множество других вещей.   -  person Donald Miner    schedule 22.11.2013
comment
Я согласен с Дональдом, проверяйте размер журналов, генерируемых каждый день.   -  person Chris White    schedule 23.11.2013
comment
журналы собираются в отдельную папку. Я вижу, что это активный сервер узла имен и узлы журнала, добавляющие пространство. Я провел некоторое исследование и обнаружил, что всякий раз, когда в узле имени есть какие-либо изменения, журнал занимает место, а затем вторичный узел имени считывает его из журнала. Но здесь я не делаю никаких операций в своей hbase.   -  person Bijesh CHandran    schedule 24.11.2013
comment
Когда я проверил папки, журналы редактирования появляются каждые 2 минуты, это очень ожидаемо. Но как нода Name редактирует журналы, когда я не выполняю над ней никаких операций.   -  person Bijesh CHandran    schedule 26.11.2013
comment
Я проверил папки и обнаружил, что журналы редактирования создаются каждые 2 минуты как в папках узла имени, так и в папке узла журнала. Теперь я не понимаю одного: если мое приложение не выполняет никаких операций, то кто редактирует метаданные пространства имен? . Я также вижу, что есть журналы редактирования со дня создания этих экземпляров. Есть ли какая-либо конфигурация Hadoop для очистки этих журналов через некоторое время или мне нужно удалить их вручную?   -  person Bijesh CHandran    schedule 26.11.2013

Ответы (1)


arrow_upward
1
arrow_downward

И после некоторых исследований я обнаружил проблему, почему журналы редактирования не очищаются. Это настройка в Hadoop.

*dfs.namenode.num.extra.edits.retained = 1000000.

Это установленное значение по умолчанию. Справочник

person Bijesh CHandran    schedule 27.11.2013