Hadoop: установить ведомое устройство в качестве явного редуктора?

мы используем многоузловую установку Hadoop на Debian + Ubuntu с последней стабильной версией Hadoop. можно ли установить конкретного ведомого в качестве редуктора? я просто использую одну задачу редуктора, и я хочу назначить ее наиболее производительному подчиненному. atm у нас есть 1 мастер, который просто назначает задачи слейвам и 5 слейвов, один мощнее других.

заранее спасибо


person trnc    schedule 03.06.2011    source источник
comment
Если вы уже знаете, какой узел является высокопроизводительным, и используете один редуктор, не могли бы вы просто удалить имена других узлов из файла подчиненных?   -  person diliop    schedule 03.06.2011


Ответы (1)


Отключите слоты редуктора на всех остальных узлах, установив mapred.tasktracker.reduce.tasks.maximum на 0 во всех conf/mapred-site.xml файлах (кроме одного узла, который вы хотите уменьшить).

Или вы можете написать собственный класс LoadManager для Fair Scheduler (см. эту), но это намного больше работы.

person BigChief    schedule 03.06.2011