Я пытаюсь объединить большой data.frame с маленьким и распараллелить вычисления. Код ниже работает идеально, максимально используя все ядра моей машины: len <- 2000000 set.seed(666) dat = paste(sample(letters, len, rep = T), sample(0:9, len,...

Я столкнулся с несколькими явными проблемами, пытаясь ускорить автоматическое создание отчетов для большого набора данных. Я использую R + markdown -> HTML для создания отчета и перебираю ~ 10K отдельных группировок для отчета, обращающегося к данным...

У меня есть цикл, который повторяется от 2 до указанного значения (т. е. columnCount). Значение i имеет решающее значение, поскольку все вычисления, происходящие внутри цикла, зависят от значения i. Фрагмент цикла: >...

Я запускаю следующий код (извлеченный из виньетки doParallel ) на ПК (ОС Linux) с 4 и 8 физическими и логическими ядрами соответственно. Запустив код с iter=1e+6 или меньше, все в порядке, и я вижу по загрузке ЦП, что все ядра используются для...

Как мне запустить RSelenium параллельно? Ниже приведен пример параллельного использования rvest . library(RSelenium) library(rvest) library(magrittr) library(foreach) library(doParallel) URLsPar <- c("http://www.example.com/",...

Я хотел бы получить информацию о том, как устроен мой код ниже. Хотелось бы знать, нужно ли его организовать по-другому, чтобы выполнять быстрее. В частности, нужно ли мне по-разному использовать foreach и dopar во вложенных циклах. В настоящее...

Я использую doParallel для довольно долгой параллельной обработки с foreach . В отличие от большинства примеров, которые я вижу, где в цикл подается код с интенсивными вычислениями, но легкий ввод, я использую foreach для координации...

У меня возникают трудности с распараллеливанием R для оптимизации скорости вызовов функций при записи в файл. Функция проста, но файлы, которые она создает, огромны и занимают неоправданно много времени. Я использовал profvis, чтобы визуализировать,...

Я пытаюсь выполнить параллельную обработку в R Shiny, параллельная задача, которую я хочу выполнить, - это вызов скрипта Python. Однако он не работает и не может вернуть результат из Python в R. Ниже приведен пример кода R Shiny и Python....

Я изо всех сил пытаюсь выбрать правильный пакет для параллельного асинхронного выполнения скриптов внешними программами с R (скрипт R также предоставляет входные данные и агрегирует выходные данные), я знаю о четырех популярных пакетах: future,...

Мне нужно оценить Матрицу перехода. Поскольку у меня много данных, я попытался запустить их параллельно, используя foreach , и я попробовал функцию общей памяти FBM() из bigstatsr . И похоже, что функция не всегда возвращает правильный...

Я пытаюсь прочитать NetCDF, а затем выполнить растровую обработку и преобразовать их в определенный формат с помощью пакета R doParallel. Я привожу здесь только короткую воспроизводимую версию с использованием данных из растрового пакета. Этот...

У меня есть данные примерно в следующем формате, но они очень большие, но разбиты на группы с использованием класса и переменной uniqueId. Где каждое местоположение представляет собой пару строк (x, y). df <- data.frame( x = c(1, 2, 3,...

У меня есть входной CSV-файл с 4500 строками. Каждая строка имеет уникальный идентификатор, и для каждой строки я должен прочитать некоторые данные, выполнить некоторые вычисления и записать результат в файл csv, чтобы в моем каталоге вывода было...

Я запускаю модели векторной авторегрессии в R, используя библиотеку vars , и я хочу использовать функцию foreach для параллельного запуска моделей, но это приводит к ошибке: Error in { : task 1 failed - "object 'exogen.train' not...