Поскольку мы знаем, что Hadoop гарантирует, что одни и те же ключи, полученные от разных mappers, будут отправлены одному и тому же reducer.
Но если два разных ключа имеют одинаковое хэш-значение, они обязательно попадут в один и тот же reducer, поэтому они будут отправлены в один и тот же reduce метод упорядоченный? Какая часть отвечает за эту логику?
Большое спасибо!
Q1:so will them be sent to the same reduce method orderly
Ответ: да
Q2:Which part is responsible for this logic
Ответ: сортировка в случайном порядке< /а>
Пример :
key value
1 2
1 2
2 5
3 19
6 20
Допустим, номер редуктора равен 5, так что теперь.
Reduce 0 will get key NO key-value pairs
Reduce 1 will get key 1,6 in same order
Reduce 2 will get key 2
Reduce 3 will get key 3
Reduce 4 will get key NO key-value pairs
