Что такое databricks искровые дельта-таблицы? Хранят ли они также данные для определенного сеанса и как я могу просмотреть эти дельта-таблицы и их структуру?

Каково назначение искровых дельта-таблиц? Предназначены ли они для постоянного хранения данных или только для обработки данных до окончания сеанса. Как я могу просмотреть их в искровом кластере и к какой базе данных они принадлежат.


person Sandie    schedule 20.08.2018    source источник


Ответы (1)


Каково назначение искровых дельта-таблиц?

Основная цель состоит в том, чтобы включить транснациональную запись в одну таблицу в мультикластерных установках. Это достигается за счет ведения журнала транзакций (идея очень похожа на таблицы только для добавления в типичных системах баз данных).

Предназначены ли они для постоянного хранения данных или только для обработки данных до окончания сеанса.

Существуют постоянные и по определению охватывающие сеансы.

. Как я могу просмотреть их в искровом кластере и в какой базе данных

Как и любая другая таблица в Spark. Они не относятся к какой-либо базе данных и записываются в формате delta.

person user10249612    schedule 20.08.2018
comment
Итак, вы упомянули, что они постоянны и по определению распространяются на сеансы, не могли бы вы объяснить это немного подробнее. Так что я хочу знать, например. кто-то настроил несколько дельта-таблиц, и если я попытаюсь получить доступ к этим дельта-таблицам из своего собственного кластера, они не отобразят никаких данных. Так что мне нужно снова запустить все преобразование и загрузить данные в дельта-таблицы? И может ли повторная загрузка данных повлиять на что-либо? - person Sandie; 21.08.2018