Изменить значение ulmit в Spark

Я запускаю коды Spark в экземпляре EC2. Я столкнулся с проблемой «Слишком много открытых файлов» (журналы ниже), и я искал в Интернете и, кажется, мне нужно установить ulimit на большее число. Поскольку я запускаю задание Spark в AWS и не знаю, где находится файл конфигурации, как я могу передать это значение в свой код Spark?

Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 255 in stage 19.1 failed 4 times, most recent failure: Lost task 255.3 in stage 19.1 (TID 749786, 172.31.20.34, executor 207): java.io.FileNotFoundException: /media/ebs0/yarn/local/usercache/data-platform/appcache/application_1559339304634_2088/blockmgr-90a63e4a-dace-4246-a158-270b0b34c1f9/20/broadcast_13 (Too many open files)

amazon-ec2 apache-spark ulimit
person daydayup    schedule 10.07.2019    source источник
comment
возможный дубликат этого   -  person Ram Ghadiyaram    schedule 10.07.2019
comment
ulimit — это свойство системы и пользователя. unix.stackexchange.com/questions/8945/ должны показать вам, как это изменить.   -  person tk421    schedule 11.07.2019

Ответы (1)


arrow_upward
0
arrow_downward

Помимо изменения ulimit, вы также должны искать утечки соединения. Например: проверьте, правильно ли закрыты ваши соединения ввода-вывода. Мы видели Too many open files исключение даже с 655k ulimit на каждом узле. Позже мы обнаружили утечки связи в коде.

person voldy    schedule 29.10.2019