Scala — высокое использование кучи при выполнении XML.loadFile для большого количества файлов в локальной области

Я не могу воспроизвести это поведение. Я использую следующую программу:

import java.io._
import xml.XML

object XMLLoadHeap {

  val filename = "test.xml"

  def addFile() {
    val is = new BufferedInputStream(new FileInputStream(filename))
    val xml = XML.load(is)
    is.close()
    println(xml.label)
  }

  def createXMLFile() {
    val out = new FileWriter(filename)
    out.write("<foo>\n")
    (1 to 100000) foreach (i => out.write("  <bar baz=\"boom\"/>\n"))
    out.write("</foo>\n")
    out.close()
  }

  def main(args:Array[String]) {
    println("XMLLoadHeap")
    createXMLFile()
    (1 to args(0).toInt) foreach { i => 
      println("processing " + i)
      addFile()
    }
  }

}

Я запускаю его со следующими параметрами: -Xmx128m -XX:+HeapDumpOnOutOfMemoryError -verbose:gc и в целом похоже, что он может работать бесконечно.

Вы можете попытаться проверить, делает ли это это при использовании только вашего самого большого XML-файла. Возможно, проблема не в обработке большого количества файлов, а в обработке самого большого файла. При тестировании здесь с фиктивным XML-файлом размером 200 МБ на 64-битной машине я вижу, что мне нужно около 3 ГБ памяти. Если это так, вам может понадобиться использовать синтаксический анализатор. См. XMLEventReader.

Помимо этого, если вы не создаете дерево объектов, вы можете использовать -Xmx4G -XX:+HeapDumpOnOutOfMemoryError, а затем проанализировать дамп кучи с помощью такого инструмента, как МАТ. 4 ГБ должно быть достаточно для синтаксического анализа самого большого XML-файла, и к тому времени, когда вы получите сообщение об ошибке нехватки памяти, может быть выделено достаточно объектов, чтобы точно определить, какой объект препятствует сборке мусора. Скорее всего, это будет объект, содержащий различные проанализированные объекты XML.