Изменение пользователя контекста сервера заданий Spark во время выполнения

Как изменить пользователя контекста, созданного на сервере заданий Spark? Я хочу изменить пользователя, которого я получаю на sparkSession.sparkContext.sparkUser();


apache-spark apache-spark-2.0 spark-jobserver
person Somya Ranjan    schedule 23.03.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

выполните следующие шаги.

[root@localhost bin]# export HADOOP_USER_NAME=praveen //set this environment variable
[root@localhost bin]# ./spark-shell // start the spark shell

scala> sc.sparkUser //Spark context available as sc.
res0: String = praveen

Таким образом вы можете изменить значение sparkUser.

person jose praveen    schedule 23.03.2020