Задание WordCount выполняется на «localjobrunner» вместо «пряжи»

Вам нужны yarn-site.xml и core-site.xml правильно в вашем пути к классам, а также все jar-файлы yarn и mapreduce (зависимости). Теперь у вас могут быть эти банки от maven или что-то в этом роде, но вы, скорее всего, пропустите эти файлы конфигурации. Вы можете установить их в пути к классам из «Запуск от имени конфигурации» в eclipse. Я предполагаю, что у вас есть локальная установка Hadoop с этими файлами конфигурации, и вы можете запускать команды Hadoop. В этом случае вы можете указать свой путь к классам на каталоги conf и lib этой установки. Это может быть утомительно, но начните с простого указания каталога conf (который содержит core-site и yarn-site) и посмотрите, работает ли это. Если нет, то также исключите локальные зависимости ваших затмений (maven или аналогичные) пряжи и mapreduce и явно установите их из вашего установочного каталога. проверьте эту статью для установки пути к классам для hadoop1: https://letsdobigdata.wordpress.com/2013/12/07/running-hadoop-mapreduce-application-from-eclipse-kepler/

Вот еще одна статья из MapR (игнорировать настройку, связанную с клиентом mapr) https://mapr.com/blog/basic-notes-on-configuring-eclipse-as-a-hadoop-development-environment-for-mapr/

Вы можете выполнить аналогичные шаги для hadoop2 (yarn), но основная идея заключается в том, что среда выполнения вашего приложения должна выбирать правильные файлы jar и файлы конфигурации в пути к классам, чтобы иметь возможность успешно развернуть его в кластере.

Инициализируйте задание со специфическими конфигурациями YARN. Добавьте эти конфигурации в драйвер,

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:8020");
conf.set("mapreduce.framework.name", "yarn");
conf.set("yarn.resourcemanager.address", "localhost:8032");