Вопросы по теме 'combiners'

Как узнать, является ли задача редуктором или объединителем во время выполнения в Hadoop?
Если операция, выполняемая с помощью MapReduce, не является коммутативной и ассоциативной, то объединитель не может быть таким же, как редюсер. Например, при вычислении среднего значения объединители суммируют значения для ключа, а редукторы...
1593 просмотров
schedule 03.02.2023

Объединение в картографе и когда выполняется процедура очистки картографа?
Я пытаюсь просто подсчитать биграммы (пары слов), я пробовал использовать простой «парный» подход, теперь я просто изменил, чтобы попробовать подход «Полосы», но в процедуре очистки картографа каким-то образом все мои ключи являются одной и той же...
961 просмотров
schedule 21.08.2022

Превратить список пар ключ/значение в список значений для каждого ключа в spark
Нам нужно эффективно преобразовывать большие списки пар ключ/значение, например: val providedData = List( (new Key("1"), new Val("one")), (new Key("1"), new Val("un")), (new Key("1"), new Val("ein")), (new Key("2"),...
3619 просмотров
schedule 19.07.2022

Когда в MapReduce вызывается Exactly Combiner?
Объединители сделаны с использованием того же класса, что и редюсер, и в основном с тем же кодом. Но вопрос, когда именно он вызывается перед сортировкой и перемешиванием или перед сокращением? Если перед сортировкой и перемешиванием i. е., сразу...
1952 просмотров
schedule 16.04.2022

Почему входные записи комбайнера больше, чем выходные записи картографа?
Комбайнер работает с выходными записями маппера. Если выходные записи преобразователя подаются на объединитель, то почему мои входные записи объединителя больше, чем выходные записи преобразователя? Я получил эти 80 дополнительных записей. Я...
769 просмотров
schedule 03.05.2022

Как связать файлы JavaScript в PhpStorm
Как объединить 2 или более файлов JavaScript в один файл в PhpStorm (ИЛИ WebStorm). Я искал и нашел только этот результат, но это не ответ: Минимизация JavaScript Я хочу что-то вроде этого: плагин Visual Studio Bundler & Minifier .
613 просмотров

Python DataFrame: заменить или объединить выбранные значения в основной DataFrame
У меня есть две панды DataFrame, как показано ниже. Он содержит строки и значения np.nan. дф = A B C D E F 0 aaa abx fwe dcs NaN gsx 1 bbb daf dxs fsx NaN ewe 2 ccc NaN NaN NaN NaN dfw 3 ddd NaN NaN asc...
112 просмотров
schedule 05.06.2023

Объедините 2 файла CSV с помощью Python с указанным количеством
Я хочу объединить данные из 2 файлов CSV, но не все данные. например: a.csv + b.csv, где b.csv содержит 20 данных. Но я хочу взять из этого только 10 данных, а затем взять 11-20 данных. Или первые 10 и вторые 10 Затем вставьте первые 10 данных в...
478 просмотров
schedule 06.05.2022