Достижение оптимального размера фрагмента «fread»?

8 * 1024 байт? Это кажется вполне разумным, и если это так, ваш высокий дисковый ввод-вывод, вероятно, связан с одновременным запросом. Рассматривали ли вы реализацию какого-либо дросселирования полосы пропускания? Вот реализация только для PHP, которую я сделал для своего фреймворка, phunction:

public static function Download($path, $speed = null, $multipart = false)
{
    if (strncmp('cli', PHP_SAPI, 3) !== 0)
    {
        if (is_file($path) === true)
        {
            while (ob_get_level() > 0)
            {
                ob_end_clean();
            }

            $file = @fopen($path, 'rb');
            $size = sprintf('%u', filesize($path));
            $speed = (empty($speed) === true) ? 1024 : floatval($speed);

            if (is_resource($file) === true)
            {
                set_time_limit(0);
                session_write_close();

                if ($multipart === true)
                {
                    $range = array(0, $size - 1);

                    if (array_key_exists('HTTP_RANGE', $_SERVER) === true)
                    {
                        $range = array_map('intval', explode('-', preg_replace('~.*=([^,]*).*~', '$1', $_SERVER['HTTP_RANGE'])));

                        if (empty($range[1]) === true)
                        {
                            $range[1] = $size - 1;
                        }

                        foreach ($range as $key => $value)
                        {
                            $range[$key] = max(0, min($value, $size - 1));
                        }

                        if (($range[0] > 0) || ($range[1] < ($size - 1)))
                        {
                            ph()->HTTP->Code(206, 'Partial Content');
                        }
                    }

                    header('Accept-Ranges: bytes');
                    header('Content-Range: bytes ' . sprintf('%u-%u/%u', $range[0], $range[1], $size));
                }

                else
                {
                    $range = array(0, $size - 1);
                }

                header('Pragma: public');
                header('Cache-Control: public, no-cache');
                header('Content-Type: application/octet-stream');
                header('Content-Length: ' . sprintf('%u', $range[1] - $range[0] + 1));
                header('Content-Disposition: attachment; filename="' . basename($path) . '"');
                header('Content-Transfer-Encoding: binary');

                if ($range[0] > 0)
                {
                    fseek($file, $range[0]);
                }

                while ((feof($file) !== true) && (connection_status() === CONNECTION_NORMAL))
                {
                    ph()->HTTP->Flush(fread($file, round($speed * 1024)));
                    ph()->HTTP->Sleep(1);
                }

                fclose($file);
            }

            exit();
        }

        else
        {
            ph()->HTTP->Code(404, 'Not Found');
        }
    }

    return false;
}

Вышеупомянутый метод имеет некоторые незначительные зависимости и добавляет некоторые ненужные функции, такие как загрузка из нескольких частей, но вы сможете без проблем повторно использовать логику регулирования.

// serve file at 4 MBps (max)
Download('/path/to/file.ext', 4 * 1024);

Вы даже можете быть более щедрым по умолчанию и уменьшить $speed в зависимости от значений, которые вы получаете из первого индекса sys_getloadavg(), чтобы не нагружать процессор.

Как правило, может случиться так, что фактический ввод-вывод быстрее, чем ввод-вывод пользовательского пространства, из-за предварительной выборки и накладных расходов файловой системы. Однако это никогда не должно блокировать ваш сервер. Размер кеша практически не повлияет на это, если он составляет от 1 КБ до, скажем, 16 МБ. Однако вместо того, чтобы использовать php для потоковой передачи файлов, вам действительно следует рассмотреть гораздо более оптимизированный readfile.

Теперь у меня есть скрипт, использующий PHP для потоковой передачи файлов конечному пользователю.

Просто чтобы прояснить, что на самом деле происходит, Apache отвечает за фактический «поток». PHP имеет дело непосредственно с Apache для его вывода. Поэтому вашим конечным пользователем PHP-скрипта является Apache. Затем Apache обрабатывает вывод для пользователя, который, по-видимому, в вашем случае составляет около 4 МБ/сек. Apache, однако, не имеет этого ограничения и может принимать все ваши выходные данные сразу, а затем обрабатывать отложенную доставку клиенту. Чтобы доказать это, вы должны увидеть завершение своего скрипта до того, как поток будет доставлен. Если ваш скрипт разворачивается и пытается доставить другой файл, то вы ставите Apache в очередь против ресурсов вашего сервера.

Лучшее решение может заключаться в том, чтобы позволить Apache полностью обрабатывать доставку файлов, позволяя пользователю запрашивать загрузку с доступного URL-адреса. Очевидно, что это ограничено статическим контентом. Чтобы исправить приведенный выше сценарий, потребуется отложить чтение некоторых файлов, чтобы Apache мог доставлять фрагменты вместо буферизации всего вывода.

РЕДАКТИРОВАТЬ: Если с вашей памятью все в порядке, и мы можем исключить активность диска подкачки, то это могут быть просто одновременные запросы на чтение файлов. Если мы запросим 5 файлов по 100 МБ, это будет 500 МБ чтения. Apache не будет ограничивать ваш скрипт и фактически буферизует весь вывод, который может превышать 100 МБ за раз. Это будет учитывать большую активность дискового ввода-вывода, потому что каждый запрос приводит к чтению всего файла в буфер. Использование дросселя, предложенного Аликс, позволит выполнять больше одновременных запросов, но в конечном итоге вы достигнете предела. Мы не можем быть уверены, насколько быстро пользователь получает данные от Apache, поэтому вам, возможно, придется найти хороший баланс для размера дроссельной заслонки, чтобы Apache и PHP могли работать с фрагментами ваших файлов, а не с целым файлом.