spark - ошибка инициализации scala при сборке

Я пытаюсь использовать искру в своем приложении scala.

это моя искровая зависимость, которую я использую:

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.0.0</version>
    </dependency>

Тогда в моем коде

import org.apache.spark.SparkConf
val sparkConf = new SparkConf()

В моей среде eclipse нет ошибок, но сборка кода (mvn package exec:java) не удалась со следующей ошибкой:

error: class file needed by SparkConf is missing.
[ERROR] reference type Cloneable of package scala refers to nonexisting symbol.
[ERROR] val sparkConf = new SparkConf()
[ERROR]                     ^
[ERROR] one error found

Как я могу справиться с этим?


apache-spark scala scala-ide
person griffon vulture    schedule 19.06.2014    source источник
comment
@ om-nom-nom Я не думаю, что это дубликат stackoverflow.com/questions/9033138/ - видел этот пост, и он вообще не отвечает на мой вопрос.   -  person griffon vulture    schedule 19.06.2014
comment
похоже на какое-то несоответствие версии Scala. Вы используете 2.10.x? (В частности, 2.10.4, так как 2.10.3 имеет некоторые проблемы с sbt)   -  person maasg    schedule 19.06.2014
comment
да - это была проблема!   -  person griffon vulture    schedule 19.06.2014

Ответы (1)


arrow_upward
1
arrow_downward

Как упоминал @massag, это было несоответствие версии Scala:

spark-core_2.10 использует scala 2.10.x

person griffon vulture    schedule 19.06.2014