Каково назначение искровых дельта-таблиц? Предназначены ли они для постоянного хранения данных или только для обработки данных до окончания сеанса. Как я могу просмотреть их в искровом кластере и к какой базе данных они принадлежат.
Что такое databricks искровые дельта-таблицы? Хранят ли они также данные для определенного сеанса и как я могу просмотреть эти дельта-таблицы и их структуру?
Ответы (1)
Каково назначение искровых дельта-таблиц?
Основная цель состоит в том, чтобы включить транснациональную запись в одну таблицу в мультикластерных установках. Это достигается за счет ведения журнала транзакций (идея очень похожа на таблицы только для добавления в типичных системах баз данных).
Предназначены ли они для постоянного хранения данных или только для обработки данных до окончания сеанса.
Существуют постоянные и по определению охватывающие сеансы.
. Как я могу просмотреть их в искровом кластере и в какой базе данных
Как и любая другая таблица в Spark. Они не относятся к какой-либо базе данных и записываются в формате delta
.
person
user10249612
schedule
20.08.2018
Итак, вы упомянули, что они постоянны и по определению распространяются на сеансы, не могли бы вы объяснить это немного подробнее. Так что я хочу знать, например. кто-то настроил несколько дельта-таблиц, и если я попытаюсь получить доступ к этим дельта-таблицам из своего собственного кластера, они не отобразят никаких данных. Так что мне нужно снова запустить все преобразование и загрузить данные в дельта-таблицы? И может ли повторная загрузка данных повлиять на что-либо?
- person Sandie; 21.08.2018