Проблема с чтением файлов размером более 1 ГБ с помощью XMLReader

Недавно у меня была такая же проблема, и я решил поделиться своим опытом.

Похоже, проблема заключается в том, как был скомпилирован PHP, был ли он скомпилирован с поддержкой 64-битных размеров/смещений файлов или только с 32-битными.

С 32-битной вы можете адресовать только 4 ГБ данных. Вы можете найти немного запутанное, но хорошее объяснение здесь: http://blog.mayflower.de/archives/131-Handling-large-files-without-PHP.html

Мне пришлось разделить мои файлы с помощью утилиты Perl xml_split, которую вы можете найти здесь: http://search.cpan.org/~mirod/XML-Twig/tools/xml_split/xml_split

Я использовал его, чтобы разделить мой огромный файл XML на управляемые куски. Преимущество этого инструмента в том, что он разбивает XML-файлы на целые элементы. К сожалению, это не очень быстро.

Мне нужно было сделать это только один раз, и это соответствовало моим потребностям, но я бы не рекомендовал его повторное использование. После разделения я использовал XMLReader для файлов меньшего размера размером около 1GB.

Разделение файла определенно поможет. Другие вещи, чтобы попробовать...

1. настроить переменную memory_limit в php.ini. http://php.net/manual/en/ini.core.php
2. перепишите свой синтаксический анализатор с помощью SAX -- http://php.net/manual/en/book.xml.php . Это потоковый синтаксический анализатор, которому не нужно анализировать все дерево. Гораздо более эффективно использует память, но немного сложнее в программировании.

В зависимости от вашей ОС также может быть ограничение в 2 ГБ на объем ОЗУ, который вы можете выделить. Очень возможно, если вы работаете в 32-битной ОС.

Следует отметить, что PHP в целом имеет максимальный размер файла. PHP не допускает целые числа без знака или длинные целые числа, что означает, что вы ограничены 2 ^ 31 (или 2 ^ 63 для 64-битных систем) для целых чисел. Это важно, потому что PHP использует целое число для указателя файла (ваша позиция в файле при чтении), что означает, что он не может обрабатывать файл размером более 2^31 байт.

Однако это должно быть больше 1 гигабайта. У меня возникли проблемы с двумя гигабайтами (как и ожидалось, поскольку 2 ^ 31 составляет примерно 2 миллиарда).

Я столкнулся с подобной проблемой при разборе больших документов. В итоге я разбил ленту на более мелкие фрагменты с помощью функций файловой системы, а затем проанализировал эти более мелкие фрагменты... Так что, если у вас есть набор тегов <record>, которые вы анализируете, анализируйте их с помощью строковых функций в виде потока, а когда вы получаете полную запись в буфере, анализируете ее с помощью функций xml... Это отстой, но работает довольно хорошо (и очень эффективно использует память, так как у вас есть не более 1 записи в памяти в любой момент).. .

Вы получаете какие-либо ошибки с

libxml_use_internal_errors(true);
libxml_clear_errors();

// your parser stuff here....    
$r = new XMLReader(...);
// ....


foreach( libxml_get_errors() as $err ) {
   printf(". %d %s\n", $err->code, $err->message);
}

когда парсер останавливается преждевременно?

При использовании WindowsXP, NTFS в качестве файловой системы и php 5.3.2 с этим тестовым скриптом проблем не возникло.

<?php
define('SOURCEPATH', 'd:/test.xml');

if ( 0 ) {
  build();
}
else {
  echo 'filesize: ', number_format(filesize(SOURCEPATH)), "\n";
  timing('read');
}

function timing($fn) {
  $start = new DateTime();
  echo 'start: ', $start->format('Y-m-d H:i:s'), "\n";
  $fn();
  $end = new DateTime();
  echo 'end: ', $start->format('Y-m-d H:i:s'), "\n";
  echo 'diff: ', $end->diff($start)->format('%I:%S'), "\n";
}

function read() {
  $cnt = 0;
  $r = new XMLReader;
  $r->open(SOURCEPATH);
  while( $r->read() ) {
    if ( XMLReader::ELEMENT === $r->nodeType ) {
      if ( 0===++$cnt%500000 ) {
        echo '.';
      }
    }
  }
  echo "\n#elements: ", $cnt, "\n";
}

function build() {
  $fp = fopen(SOURCEPATH, 'wb');

  $s = '<catalogue>';
  //for($i = 0; $i < 500000; $i++) {
  for($i = 0; $i < 60000000; $i++) {
    $s .= sprintf('<item>%010d</item>', $i);
    if ( 0===$i%100000 ) {
      fwrite($fp, $s);
      $s = '';
      echo $i/100000, ' ';
    }
  }

  $s .= '</catalogue>';
  fwrite($fp, $s);
  flush($fp);
  fclose($fp);
}

выход:

filesize: 1,380,000,023
start: 2010-08-07 09:43:31
........................................................................................................................
#elements: 60000001
end: 2010-08-07 09:43:31
diff: 07:31

(как видите, я напортачил с выводом конечного времени, но я не хочу запускать этот скрипт еще 7+ минут ;-))

Это также работает в вашей системе?

В качестве примечания: соответствующее тестовое приложение C# заняло всего 41 секунду вместо 7,5 минут. И мой медленный жесткий диск мог быть ограничивающим фактором в этом случае.

filesize: 1.380.000.023
start: 2010-08-07 09:55:24
........................................................................................................................

#elements: 60000001

end: 2010-08-07 09:56:05
diff: 00:41

и источник:

using System;
using System.IO;
using System.Xml;

namespace ConsoleApplication1
{
  class SOTest
  {
    delegate void Foo();
    const string sourcepath = @"d:\test.xml";
    static void timing(Foo bar)
    {
      DateTime dtStart = DateTime.Now;
      System.Console.WriteLine("start: " + dtStart.ToString("yyyy-MM-dd HH:mm:ss"));
      bar();
      DateTime dtEnd = DateTime.Now;
      System.Console.WriteLine("end: " + dtEnd.ToString("yyyy-MM-dd HH:mm:ss"));
      TimeSpan s = dtEnd.Subtract(dtStart);
      System.Console.WriteLine("diff: {0:00}:{1:00}", s.Minutes, s.Seconds);
    }

    static void readTest()
    {
      XmlTextReader reader = new XmlTextReader(sourcepath);
      int cnt = 0;
      while (reader.Read())
      {
        if (XmlNodeType.Element == reader.NodeType)
        {
          if (0 == ++cnt % 500000)
          {
            System.Console.Write('.');
          }
        }
      }
      System.Console.WriteLine("\n#elements: " + cnt + "\n");
    }

    static void Main()
    {
      FileInfo f = new FileInfo(sourcepath);
      System.Console.WriteLine("filesize: {0:N0}", f.Length);
      timing(readTest);
      return;
    }
  }
}