У меня проблема с job-server-0.5.0 после обновления DSE 4.6 до 4.7. Если я запущу server_start.sh, я получу ошибку «Не удалось найти сборку Spark в /usr/share/dse/spark/assembly/target/scala-2.10. Перед запуском этой программы необходимо собрать...

Я запускаю виртуальную машину с локальным экземпляром Hadoop и Spark-JobServer. Я создал файл с именем «test.txt» в HDFS, который я хочу открыть с Spark-JobServer. Для этого я написал следующий код: val test1 =...

Я создаю задание Spark SQL с сервером заданий Spark и использую HiveContext, следуя примеру ниже: https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server-extras/src/spark.jobserver/HiveTestJob.scala Мне удалось запустить сервер,...

Я использую последнюю версию SJS (мастер), и приложение расширяет SparkHiveJob. В реализации runJob у меня есть следующее val eDF1 = hive.applySchema(rowRDD1, schema) Я хотел бы сохранить eDF1 и попробовал следующее val rdd_topersist...

Я пытаюсь настроить сервер искры для режима развертывания кластера Mesos. Я установил spark.master = "mesos://mesos-master:5050" в конфигурации сервера заданий. Когда я пытаюсь создать контекст на сервере заданий, он терпит неудачу со следующим...

При обновлении моего проекта SBT в IntelliJ IDEA я столкнулся со следующей ошибкой: Error:Error while importing SBT project:<br/>...<br/><pre>[warn] Credentials file C:\Users\usr\.bintray\.credentials does not exist [warn]...

Я работаю со Spark и Cassandra, и в целом все просто и работает, как задумано; в частности, искровая оболочка и запущенные процессы .scala для получения результатов. Сейчас я рассматриваю возможность использования сервера заданий Spark; У меня...

Как изменить пользователя контекста, созданного на сервере заданий Spark? Я хочу изменить пользователя, которого я получаю на sparkSession.sparkContext.sparkUser();