Как разбить файл CSV размером 6 ГБ на куски с помощью php

Возможно, это потому, что вы создаете новый обработчик файлов $output для каждого файла iteration.

Я внес некоторые коррективы, так что мы создаем файл только тогда, когда rowCount = 0, и закрываем его, когда достигается fileSize. Также rowCount нужно сбрасывать на 0 каждый раз, когда мы закрываем файл.

public function Post(Request $request)
     {

         if($request->hasfile('upload')){
            ini_set('auto_detect_line_endings', TRUE);
                $main_input = $request->file('upload');
                $main_output = 'output';
                $filesize = 10000;
                $input = fopen($main_input,'r');
                $rowcount = 0;
                $filecount = 1;
                $output = '';

                // echo "here1";
                while(!feof($input)){
                    if ($rowCount == 0) {
                        $output = fopen('php://output', storage_path(). "/tmp/".$main_output.$filecount++ . '.csv','w');
                    }
                    if(($rowcount % $filesize) == 0){
                        if($rowcount>0) { 
                            fclose($output);
                            $rowCount = 0;
                            continue;
                        }

                    }
                    $data = fgetcsv($input);
                    print_r($data);

                    if($data) {

                        fputcsv($output, $data);
                    }

                    $rowcount++;
                }
                fclose($output);
        }
     }

Вот рабочий пример разделения CSV-файла по количеству строк (определяется$numberOfLines). Просто укажите свой путь в $filePath и запустите скрипт в оболочке, например:

php -f convert.php

код скрипта: convert.php

<?php

$filePath = 'data.csv';
$numberOfLines = 10000;

$file = new SplFileObject($filePath);

//get header of the csv
$header = $file->fgets();

$outputBuffer = '';
$outputFileNamePrefix = 'datasplit-';

$readLinesCount = 1;
$readlLinesTotalCount = 1;
$suffix=0;

$outputBuffer .= $header;

while ($currentLine = $file->fgets()) {
    $outputBuffer .= $currentLine;
    $readLinesCount++;
    $readlLinesTotalCount++;

    if ($readLinesCount >= $numberOfLines) {
        $outputFilename = $outputFileNamePrefix . $suffix . '.csv';
        file_put_contents($outputFilename, $outputBuffer);
        echo 'Wrote '  . $readLinesCount . ' lines to: ' . $outputFilename . PHP_EOL;    

        $outputBuffer = $header;
        $readLinesCount = 0;
        $suffix++;
    }
}

//write remainings of output buffer if it is not empty
if ($outputBuffer !== $header) {
    $outputFilename = $outputFileNamePrefix . $suffix . '.csv';
    file_put_contents($outputFilename, $outputBuffer);
    echo 'Wrote (last time)'  . $readLinesCount . ' lines to: ' . $outputFilename . PHP_EOL;

    $outputBuffer = '';
    $readLinesCount = 0;

}

вы не сможете преобразовать такой объем данных за одно выполнение php, если он запускается из Интернета, из-за максимального времени выполнения php-скриптов, которое обычно составляет 30-60 секунд, и для этого есть причина - не пытайтесь чтобы расширить его до некоторого огромного числа. Если вы хотите, чтобы ваш скрипт работал даже часами, вам нужно вызвать его из командной строки, но вы также можете вызвать его аналогичным образом из другого скрипта (например, из вашего контроллера). Вы делаете это следующим образом:

exec('php -f convert.php');

вот и все.

Контроллер, который у вас есть, не сможет сказать, были ли преобразованы все данные, потому что до того, как это произойдет, он будет завершен. Что вы можете сделать, так это написать свой собственный код в convert.php, который обновляет некоторые поля в базе данных, а другой контроллер в вашем приложении может прочитать это и распечатать пользователю ход выполнения convert.php.

Другой подход состоит в том, чтобы создать задание/задания, которые вы можете поместить в очередь и запускать с помощью процесса диспетчера заданий с рабочими, которые могут позаботиться о преобразовании, но я думаю, что это было бы излишним для ваших нужд.

Имейте в виду, что если вы что-то разделили и присоединились к другому местоположению, у вас может возникнуть проблема с ошибкой в ​​​​этом процессе. Метод, который гарантирует, что вы успешно разделили, передали, объединили свои данные, заключается в вычислении HASH, т.е. SHA-1 весь файл размером 6 ГБ перед разделением, отправьте этот ХЭШ в место назначения, где необходимо объединить все небольшие части данных, объединить их в один файл размером 6 ГБ, вычислить ХЭШ этого файла и сравнить с тем, который был отправлен. Имейте в виду, что каждая из небольших частей ваших данных после разделения имеет свой собственный заголовок, чтобы CSV-файл был легко интерпретировать (импортировать), где в исходном файле у вас есть только одна строка заголовка.