Почему параллельные задания не печатаются в RStudio?

Ни одна из функций в «параллельном» пакете не гарантирует правильного отображения вывода, отправленного на стандартный вывод (stdout) или стандартную ошибку (stderr) на рабочих процессах. Это верно для всех типов подходов к распараллеливанию, например. разветвленная обработка (mclapply()) или кластеры PSOCK (parLapply()). Причина этого в том, что он никогда не был предназначен для последовательной передачи вывода.

Хороший тест — посмотреть, сможете ли вы захватить вывод через capture.output(). Например, я получаю:

bfr <- utils::capture.output({
  y <- lapply(1:3, FUN = print)
})
print(bfr)
## [1] "[1] 1" "[1] 2" "[1] 3"

как и ожидалось, но когда я пытаюсь:

bfr <- utils::capture.output({
  y <- parallel::mclapply(1:3, FUN = print)
})
print(bfr)
## character(0)

вывод не захвачен. Интересно, что если я вызову его без захвата вывода в R 4.0.1 в Linux в терминале, я получу:

y <- parallel::mclapply(1:3, FUN = print)
[1] 1
[1] 3
[1] 2

Интересно, а?

Еще одно предложение, которое вы можете получить при использовании локальных кластеров PSOCK, — установить аргумент outfile = "" при создании кластера. Действительно, когда вы попробуете это в Linux в терминале, это определенно сработает:

cl <- parallel::makeCluster(2L, outfile = "")
## starting worker pid=25259 on localhost:11167 at 17:50:03.974
## starting worker pid=25258 on localhost:11167 at 17:50:03.974

y <- parallel::parLapply(cl, 1:3, fun = print)
## [1] 1
## [1] 2
## [1] 3

Но и это дает ложные надежды. Оказывается, результат, который вы видите, появляется только потому, что его отображает терминал. Это может работать или не работать в консоли RStudio. Вы можете увидеть различное поведение в Linux, macOS и MS Windows. Наиболее важной частью понимания является то, что ваш сеанс R не вообще не видит этот вывод. Если мы попытаемся захватить его, мы получим:

bfr <- utils::capture.output({
  y <- parallel::parLapply(cl, 1:3, fun = print)
})
## [1] 1
## [1] 2
## [1] 3
print(bfr)
## character(0)

Интересно, а? Но на самом деле это не удивительно, если вы понимаете внутренние детали «параллельного» пакета.

(Отказ от ответственности: я автор) Единственная известная мне параллельная структура, которая правильно передает стандартный вывод (например, cat(), print(),...) и условия сообщения (например, message()) в основной сеанс R, - это будущее. Подробности можно прочитать в его 'Text и виньетка вывода сообщений, но вот пример, показывающий, что это работает:

future::plan("multicore", workers = 2) ## forked processing

bfr <- utils::capture.output({
  y <- future.apply::future_lapply(1:3, FUN = print)
})
print(bfr)
[1] "[1] 1" "[1] 2" "[1] 3"

Он работает одинаково независимо от базовой структуры параллелизма, например. с местными работниками PSOCK:

future::plan("multisession", workers = 2) ## PSOCK cluster

bfr <- utils::capture.output({
  y <- future.apply::future_lapply(1:3, FUN = print)
})
print(bfr)
[1] "[1] 1" "[1] 2" "[1] 3"

Это работает одинаково во всех операционных системах и средах, в которых вы запускаете R, включая консоль RStudio. Он также ведет себя одинаково независимо от того, какую будущую структуру уменьшения карты вы используете, например. (здесь) future.apply, furrr и foreach с doFuture.