Ошибка Недопустимый тип задания для этого контекста в задании Spark SQL с сервером заданий Spark

Я создаю задание Spark SQL с сервером заданий Spark и использую HiveContext, следуя примеру ниже: https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server-extras/src/spark.jobserver/HiveTestJob.scala

Мне удалось запустить сервер, но когда я запускаю свое приложение (мой класс Scala, расширяющий SparkSqlJob), я получаю в ответ следующее:

{
   "status": "ERROR",

   "result": "Invalid job type for this context"
 }

Может ли кто-нибудь подсказать мне, что происходит не так, или предоставить подробную процедуру настройки сервера заданий для SparkSQL?

Код ниже:

import com.typesafe.config.{Config, ConfigFactory}
import org.apache.spark._
import org.apache.spark.sql.hive.HiveContext
import spark.jobserver.{SparkJobValid, SparkJobValidation, SparkHiveJob}

object newHiveRest extends SparkHiveJob {


  def validate(hive: HiveContext, config: Config): SparkJobValidation = SparkJobValid

  def runJob(hive: HiveContext, config: Config): Any = {

    hive.sql(s"use default")
    val maxRdd = hive.sql(s"select count(*) from 'default'.'passenger'")

    maxRdd.count()
  }
}

person Robin    schedule 27.01.2016    source источник
comment
Журналы сервера заданий приведены ниже: scala.runtime.AbstractPartialFunction $ mcVL $ sp.apply $ mcVL $ sp (AbstractPartialFunction.scala: 33) scala.runtime.AbstractPartialFunction $ mcVL $ sp.apply (AbstractPartialFunction.scala: 33) at org .apache.spark.SparkContext $$ anonfun $ assertNoOtherContextIsRunning $ 1.apply (SparkContext.scala: 2083) в org.apache.spark.SparkContext $$ anonfun $ assertNoOtherContextIsRunning $ 1.apply (SparkContext.scala: 2065.fore scala (Option.scala: 236) в org.apache.spark.SparkContext $ .assertNoOtherContextIsRunning (SparkContext.scala: 2065) в   -  person Robin    schedule 28.01.2016


Ответы (1)


Для Spark SQL вы можете использовать следующее

https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server-extras/src/spark.jobserver/SqlTestJob.scala

person noorul    schedule 27.01.2016
comment
Спасибо за помощь Ноорула! На самом деле я использую класс HiveContext. Итак, я создаю задание, расширяющее SparkHiveJob. Но это не удалось. Я разместил журнал ошибок сервера вакансий в комментарии. - person Robin; 28.01.2016
comment
Глядя на исключение, я думаю, что оно терпит неудачу, когда оно утверждает более одного контекста в искре. Вы можете это проверить? - person noorul; 28.01.2016
comment
См. Код, указанный в вопросе. Я не создаю SparkContext, а просто использую экземпляр HiveContext в SparkHiveJob. - person Robin; 28.01.2016