Четкое разделение фаз Hadoop

Я заинтересован в тестировании кластера Hadoop на определенных этапах выполнения MapReduce. То есть я хотел бы четкого разделения между фазой карты, фазой перемешивания и фазой редукции.

Есть ли способ воздержаться от перетасовки или сокращения чего-либо до завершения всех задач карты, а также воздержаться от сокращения до тех пор, пока не будут завершены все перетасовки? Меня не волнует влияние на время выполнения, потому что меня интересует только потребление ресурсов на каждом из этих этапов.

Я видел еще один пост SO о разделении задач на определенных узлах путем установки mapred.tasktracker.reduce.tasks.maximum на 0 на узлах, которые не должны уменьшаться, и mapred.tasktracker.map.tasks.maximum на 0 на узлах, которые не должны сопоставляться, но в этом случае задачи сопоставления и сокращения по-прежнему выполняются одновременно, и я m также не может использовать мой полный кластер для каждой фазы.

Спасибо!


hadoop cluster-computing mapreduce job-scheduling
person cvp    schedule 31.01.2012    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Есть ли способ воздержаться от перетасовки или уменьшения чего-либо до завершения всех задач карты, а также воздержаться от сокращения до завершения всех перетасовок?

mapreduce.job.reduce.slowstart.completedmaps устанавливается на 0,05 и определяется как Fraction of the number of maps in the job which should be complete before reduces are scheduled for the job.

Установите указанный выше параметр в 1, и перетасовка не начнется, пока не будет завершено выполнение всех задач карты.

person Praveen Sripati    schedule 01.02.2012
comment
Именно то, что я искал. Спасибо! - person cvp; 02.02.2012
comment
Или, может быть, я сказал слишком рано... Несмотря на то, что он откладывает сортировку или уменьшение до тех пор, пока все карты не будут полностью завершены, он все равно выполняет шаг копирования. Это тоже никак не удержать? - person cvp; 02.02.2012
comment
Я не думаю, что перетасовка (шаг копирования) также начинается без завершения всех задач карты путем установки указанного свойства в 1, потому что задачи сокращения не были запланированы. - person Praveen Sripati; 02.02.2012