Я работаю со Spark и Cassandra, и в целом все просто и работает, как задумано; в частности, искровая оболочка и запущенные процессы .scala для получения результатов.
Сейчас я рассматриваю возможность использования сервера заданий Spark; У меня запущен сервер заданий, и он работает, как и ожидалось, как для тестовых элементов, так и для некоторых начальных, простых разработанных .scala.
Однако теперь я хочу взять одну из программ .scala, которая работает в spark-shell, и загрузить ее на сервер заданий Spark для доступа через этот механизм. Проблема, с которой я столкнулся, заключается в том, что сервер заданий, похоже, не распознает операторы импорта вокруг cassandra и не может создать (компилировать sbt; пакет sbt) банку для загрузки на сервер заданий.
На каком-то уровне это просто выглядит так, как будто мне нужен сервер заданий, эквивалентный переключателю пакета оболочки spark (--packages datastax:spark-cassandra-connector:2.0.1-s_2.11) на сервере заданий Spark, чтобы импортировать com.datastax .spark.connector._ и аналогичный код в файлах .scala будут работать.
В настоящее время, когда я пытаюсь выполнить сборку (sbt complie), я получаю сообщение, например: [ошибка] /home/SparkCassandraTest.scala:10: объект datastax не является членом пакета com [ошибка] import com.datastax.spark.connector._
Я добавил различные элементы в файл build.sbt на основе результатов поиска и советов на доске объявлений; но никаких реальных изменений; если это ответ, я после того, что нужно добавить к базовому серверу заданий, чтобы включить это использование соединителя cassandra.
sbt assemblyи отправить? - person Alex Ott schedule 07.12.2017