Как импортировать модуль Delta Lake в блокнот Zeppelin и pyspark?

Я пытаюсь использовать Delta Lake в ноутбуке Zeppelin с pyspark, и мне кажется, что он не может успешно импортировать модуль. например

%pyspark
from delta.tables import *

Это не удается со следующей ошибкой:

ModuleNotFoundError: нет модуля с именем "дельта"

Однако нет проблем с сохранением / чтением фрейма данных в формате delta. И модуль может быть успешно загружен, если использовать scala spark %spark

Есть ли способ использовать Delta Lake в Zeppelin и pyspark?


pyspark delta-lake apache-zeppelin
person Jay Ng    schedule 04.12.2019    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Наконец-то удалось загрузить его на zeppelin pyspark. Необходимо явно включить файл jar

%pyspark
sc.addPyFile("**LOCATION_OF_DELTA_LAKE_JAR_FILE**")
from delta.tables import *
person Jay Ng    schedule 04.12.2019