Объект «SparkSession» не имеет атрибута «кирпичи данных»

Новичок в databricks и spark, я пытаюсь запустить приведенную ниже команду и столкнулся с этой ошибкой.

spark.databricks.delta.retentionDurationCheck.enabled= "false"

ошибка: 'SparkSession' object has no attribute 'databricks'


apache-spark pyspark delta-lake databricks
person efsee    schedule 30.08.2019    source источник
comment
Это похоже на конфигурацию. Если это конфигурация SQL, используйте команду SET, в противном случае используйте --conf, чтобы передать ее приложению Spark.   -  person DaRkMaN    schedule 31.08.2019

Ответы (1)


arrow_upward
3
arrow_downward

Должно быть так sql

spark.sql("SET spark.databricks.delta.retentionDurationCheck.enabled=false")

Или укажите его как свойство spark Conf

person SMaZ    schedule 30.08.2019