Я запускаю распределенное приложение Spark в клиентском режиме YARN в кластере Cloudera. Через некоторое время я вижу некоторые ошибки в Cloudera Manager. Некоторые исполнители отключаются, и это происходит систематически. Я хотел бы отладить проблему, но YARN не сообщает о внутреннем исключении.
Exception from container-launch with container ID: container_1417503665765_0193_01_000003 and exit code: 1
ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
at org.apache.hadoop.util.Shell.run(Shell.java:455)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:196)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Как я могу увидеть трассировку стека исключения? Похоже, что YARN сообщает только о том, что приложение вышло ненормально. Есть ли способ увидеть журнал искрового исполнителя в конфигурации YARN?