Я пытаюсь запустить задание сходства элементов mahout на входе, состоящем из ~ 250 миллионов пар (строк) в кластере Amazon EMR (m3.2xLarge, 10 основных узлов). Я столкнулся с ошибкой размера кучи Java при выполнении задания на подобие.
Что я пытался решить эту проблему.
Увеличьте размер кучи именных узлов, определив их в действии начальной загрузки. Примерно так -
--bootstrap-action s3: // elasticmapreduce / bootstrap-actions / configure-daemons --args --namenode-heap- size = 8192Используйте загрузочную программу с интенсивным использованием памяти, рекомендованную AWS (s3: // elasticmapreduce / bootstrap-actions / configurations / latest / memory-loaded)
Установите MAHOUT_HEAPSIZE вручную.
Проблема не решена, есть ли способ ее решить?
profile
свое java-приложение, и вы сможете увидеть поведение своей кучи. Он либо становится все больше и больше, пока не достигнет предела (вариант 1), либо странным образом меняется в приложении (сборщик мусора не работает должным образом). - person Payam   schedule 06.01.2015