Вопросы по теме 'combiners'
Как узнать, является ли задача редуктором или объединителем во время выполнения в Hadoop?
Если операция, выполняемая с помощью MapReduce, не является коммутативной и ассоциативной, то объединитель не может быть таким же, как редюсер.
Например, при вычислении среднего значения объединители суммируют значения для ключа, а редукторы...
1593 просмотров
schedule
03.02.2023
Объединение в картографе и когда выполняется процедура очистки картографа?
Я пытаюсь просто подсчитать биграммы (пары слов), я пробовал использовать простой «парный» подход, теперь я просто изменил, чтобы попробовать подход «Полосы», но в процедуре очистки картографа каким-то образом все мои ключи являются одной и той же...
961 просмотров
schedule
21.08.2022
Превратить список пар ключ/значение в список значений для каждого ключа в spark
Нам нужно эффективно преобразовывать большие списки пар ключ/значение, например:
val providedData = List(
(new Key("1"), new Val("one")),
(new Key("1"), new Val("un")),
(new Key("1"), new Val("ein")),
(new Key("2"),...
3619 просмотров
schedule
19.07.2022
Когда в MapReduce вызывается Exactly Combiner?
Объединители сделаны с использованием того же класса, что и редюсер, и в основном с тем же кодом. Но вопрос, когда именно он вызывается перед сортировкой и перемешиванием или перед сокращением? Если перед сортировкой и перемешиванием i. е., сразу...
1952 просмотров
schedule
16.04.2022
Почему входные записи комбайнера больше, чем выходные записи картографа?
Комбайнер работает с выходными записями маппера. Если выходные записи преобразователя подаются на объединитель, то почему мои входные записи объединителя больше, чем выходные записи преобразователя?
Я получил эти 80 дополнительных записей. Я...
769 просмотров
schedule
03.05.2022
Как связать файлы JavaScript в PhpStorm
Как объединить 2 или более файлов JavaScript в один файл в PhpStorm (ИЛИ WebStorm).
Я искал и нашел только этот результат, но это не ответ: Минимизация JavaScript
Я хочу что-то вроде этого: плагин Visual Studio Bundler & Minifier .
613 просмотров
schedule
30.01.2023
Python DataFrame: заменить или объединить выбранные значения в основной DataFrame
У меня есть две панды DataFrame, как показано ниже. Он содержит строки и значения np.nan. дф =
A B C D E F
0 aaa abx fwe dcs NaN gsx
1 bbb daf dxs fsx NaN ewe
2 ccc NaN NaN NaN NaN dfw
3 ddd NaN NaN asc...
112 просмотров
schedule
05.06.2023
Объедините 2 файла CSV с помощью Python с указанным количеством
Я хочу объединить данные из 2 файлов CSV, но не все данные. например: a.csv + b.csv, где b.csv содержит 20 данных. Но я хочу взять из этого только 10 данных, а затем взять 11-20 данных. Или первые 10 и вторые 10
Затем вставьте первые 10 данных в...
478 просмотров
schedule
06.05.2022