У меня есть задание Spark, которое считывает данные из файла конфигурации. Этот файл представляет собой безопасный конфигурационный файл.
Код, который читает конфиг, выглядит так:
ConfigFactory.load().getConfig("com.mycompany")
Теперь я не собираю application.conf как часть моего uber jar, так как я хочу передать файл как внешний файл.
Содержимое внешнего файла application.conf, который я хочу использовать, выглядит следующим образом:
com.mycompany {
//configurations my program needs
}
Этот файл application.conf существует в файловой системе моего локального компьютера (а не в HDFS)
Я использую Spark 1.6.1 с Yarn
Вот как выглядит моя команда spark-submit:
LOG4J_FULL_PATH=/log4j-path
ROOT_DIR=/application.conf-path
/opt/deploy/spark/bin/spark-submit \
--class com.mycompany.Main \
--master yarn \
--deploy-mode cluster \
--files $ROOT_DIR/application.conf \
--files $LOG4J_FULL_PATH/log4j.xml \
--conf spark.executor.extraClassPath="-Dconfig.file=file:application.conf" \
--driver-class-path $ROOT_DIR/application.conf \
--verbose \
/opt/deploy/lal-ml.jar
Я получаю следующее исключение:
2016-11-09 12:32:14 ERROR ApplicationMaster:95 - User class threw exception: com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'com'
com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'com'
at com.typesafe.config.impl.SimpleConfig.findKey(SimpleConfig.java:124)
at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:147)
at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:159)
at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:164)
at com.typesafe.config.impl.SimpleConfig.getObject(SimpleConfig.java:218)
at com.typesafe.config.impl.SimpleConfig.getConfig(SimpleConfig.java:224)
at com.typesafe.config.impl.SimpleConfig.getConfig(SimpleConfig.java:33)
at com.mycompany.Main$.main(Main.scala:36)
at com.mycompany.Main.main(Main.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:542)
Итак, мой вопрос: кто-нибудь знает, как я могу загрузить внешний файл typeafe application.conf, который находится на моем локальном компьютере, с помощью spark-submit и yarn?
Я пробовал следовать некоторым решениям в Как добавить безопасный для типов файл конфигурации, расположенный в HDFS, в spark-submit (режим кластера)? и в Типичная конфигурация в Spark, а также в Как передать параметр -D или переменную среды в задание Spark? и ничего не получилось
Я буду признателен за любое направление решения этой проблемы
заранее спасибо