Вы можете использовать пакет progressr, чтобы следовать -up использование памяти в интерактивном режиме.
Например, с пакетом furrr:

library(furrr)
library(pryr)
plan(multisession,workers=6)

library(progressr)
handlers("progress")

#input_csv <- fread('inputFile.csv')) 
#filesID <- as.list(1:nrow(input_csv))
filesID <- as.list(1:12)

with_progress({
  p <- progressor(along = filesID)
  result <- future_map(filesID, function(fileID) {
    #rowRef <- input_csv[fileID, ]
    
    # read data for the unique location in `rowRef`  
    #weather.path <-  arrow(paste0(rowRef$locationID'_weather.parquet')))
  
  # do some calculations : simulate memory increase
  temp_result <- rnorm(2e7)
  # save the results as csv
  #fwrite(temp_result, file.path(paste0('output_iter_',fileID,'.csv')))
  
  Sys.sleep(2)
  p(sprintf("memory used=%g", pryr::mem_used()))
  
  
  return(object.size(temp_result))
  },.options=future_options(packages=c("myCustomPkg","dplyr","arrow","zoo","data.table","rlist","stringr")))
})

[====================================================>-------]  90% memory used=6.75075e+08

Тот же метод применяется к foreach.

Другое предложение - не возвращать результаты в основной процесс, поскольку вы уже сохраняете их в файле. Вместо return(temp_result) вы можете вывести сводку, например object.size, зная, что полные результаты можно найти в связанном файле.

Из вашего кода не совсем возможно понять, почему он должен остановиться. Может быть, некоторые части вашего foreach цикла не являются потокобезопасными (например, data.table использует многопоточность для подмножества)?

В настоящее время очень мало что нужно изменить, чтобы помочь, и ответ @Walldi, вероятно, хорош для диагностики реальной проблемы. Единственное, что кажется очевидным для изменения здесь, - это избегать повторения отдельных строк вашего data.frame за счет использования внутренних функций foreach.

foreach выполняет параллельное программирование путем создания итератора над объектом. При параллельном программировании между каждой итерацией возникают некоторые накладные расходы, поскольку потоку / ядру потребуется запрашивать новую информацию. По сути, это выгодно минимизировать эти накладные расходы за счет минимизации количества итераций. Мы можем сделать это, разделив наш набор данных на части или вручную создав итератор с помощью пакета iterators.
У меня нет доступа к вашим данным, поэтому ниже приведен воспроизводимый пример с использованием набора данных mtcars. Я разделил его на блоки setup и foreach для облегчения чтения. Обратите внимание, что files в моем примере является простым вектором, поэтому требуется некоторое минимальное изменение для фактического кода, показанного в вопросе, поскольку files внутри цикла foreach теперь становится data.frame, а не вектором.

Настраивать

library(iterators)
library(foreach)
library(data.table)
library(arrow)
library(doParallel)
# Set up reproducible example:
data(mtcars)
files <- replicate(100, tempfile())
lapply(files, function(x)write_parquet(mtcars, x))

# Split the files into chunks for the iterator
nc <- parallel::detectCores()
sfiles <- split(files, seq_len(length(files)) %% nc + 1)
# Set up backend
th <- parallel::makeCluster(nc)
registerDoParallel(th)

Для каждого

foreach(files = sfiles, #Note the iterator will name each chunk 'files' within the loop. 
        .packages = c('data.table', 'arrow', 'dplyr'), 
        .combine = c, # Because I return the resulting file names
        .multicombine = TRUE) %dopar% {
  # Iterate over each chunk within foreach
  # Reduces loop overhead
  outF <- character(length(files))
  for(i in seq_along(files)){
    tib <- arrow::read_parquet(files[i])
    # Do some stuff
    tib <- tib %>% select(mpg, hp)
    # Save output
    outF[i] <- tempfile(fileext = '.csv')
    fwrite(tib, outF[i])
  }
  # Return list of output files
  return(outF)
}

Я не верю, что это решит проблему, но это может немного снизить ваши накладные расходы.

Вам нужно отвлечься от каждого файлового цикла, поскольку проблема не в этом. Проблема связана с обработкой содержимого в файле. Проблема в том, что когда вы пытаетесь создать файл для каждой строки, вы не фиксируете запись после каждой строки, и поэтому весь процесс для одного файла и строки за строкой накапливается в памяти. Вам нужно очистить память при записи файла и закрыть соединение.

Если возможно, попробуйте использовать приложение, как показано в приведенном ниже примере.

Для каждой строки в кадре данных R

Попробуйте закрыть соединение с файлом, как написано в Справочнике ниже:

https://stat.ethz.ch/R-manual/R-devel/library/base/html/connections.html.