Когда я запускал каскадное задание, я получаю сообщение об ошибке:
Split metadata size exceeded 10000000
Я пытаюсь увеличить лимит на уровне задания, передав следующее в командную строку
xxx.jar -D mapreduce.job.split.metainfo.maxsize=30000000
я тоже пробовал
xxx.jar -D mapreduce.jobtracker.split.metainfo.maxsize=30000000
Но оба не работают, я все равно получаю ту же ошибку, поэтому аргумент не выбран. Я использую хауп 2.5. Кто-нибудь может указать, что я сделал неправильно?
Можете ли вы попробовать установить следующее свойство в conf/mapred-site.xml:
<!-- No limits if set to -1 -->
<property>
<name>mapreduce.jobtracker.split.metainfo.maxsize</name>
<value>-1</value>
</property>
Не уверен, что следующее поможет (попробуйте)
xxx.jar -D mapreduce.jobtracker.split.metainfo.maxsize=-1
Ссылка: https://archive.cloudera.com/cdh/3/hadoop/mapred-default.html
| Name | Default Value | Description |
|---------------------------------------------|---------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| mapred.jobtracker.job.history.block.size | 3145728 | The block size of the job history file. Since the job recovery uses job,history, its important to dump job history to disk as soon as possible.,Note that this is an expert level parameter. The default value is set to,3 MB |
| mapreduce.jobtracker.split.metainfo.maxsize | 10000000 | The maximum permissible size of the split metainfo file. The JobTracker,won't attempt to read split metainfo files bigger than the configured,value. No limits if set to -1. |
