Предотвращение появления столбца раздела в экспортированных данных

У меня есть внешняя таблица, разделенная на столбец Timestamp, который имеет тип datetime. Итак, определение внешней таблицы выглядит так: -

.create external table external_mytable (mydata:dynamic,Timestamp:datetime)
kind=blob
partition by bin(Timestamp,1d)
dataformat=json
( 
    h@'https://<mystorage>.blob.core.windows.net/<mycontainer>;<storagekey>'
)

Исходной таблицей для экспорта является таблица mytable, которая имеет кучу столбцов, но меня интересует только столбец с именем mydata, содержащий фактическую полезную нагрузку, и другие столбцы года, месяца и дня, которые необходимы для разбиения на разделы.

Мой экспорт выглядит так: -

.export async to table  external_mytable <| mysourcetable | project mydata,Timestamp=make_datetime(year,month,day)

В этом случае я не хочу, чтобы столбец Timestamp был частью фактических экспортированных данных JSON. Я вынужден указать это, потому что этот столбец управляет логикой разделения. Есть ли способ избежать появления метки времени в экспортированных данных и ее использования при определении разделения в этом случае?


person Dhiraj    schedule 22.02.2020    source источник


Ответы (1)


Спасибо за вопрос, Дхирадж, это в нашей очереди. Не стесняйтесь открывать похожие запросы на нашем голосовом сообщении, где мы можем обновить как только он будет завершен.

person Avnera    schedule 23.02.2020
comment
это уже реализовано? - person Dhiraj; 23.06.2020
comment
Здесь мотивация - сэкономить или что-то еще? - person Avnera; 07.07.2020
comment
мы экспортируем данные в большие двоичные объекты разделенным образом (например, год / месяц / день / час), а затем пытаемся построить внешние разделенные таблицы улья, указывающие на эти капли - проблема в том, что, поскольку внешние таблицы улья также разделены на те же столбцы ( год, месяц, день, час), нам необходимо без необходимости определить эти столбцы раздела как обычные столбцы в схеме куста (с разными именами), потому что эти столбцы существуют в данных. Нам не нужны эти значения в данных, поскольку их значения подразумевает сама структура разделов. Это в основном делает решение беспорядочным. - person Dhiraj; 08.07.2020
comment
это уже реализовано? Если да, то укажите мне правильный документ. - person Dhiraj; 25.05.2021
comment
Похоже, что виртуальные столбцы могут быть определены для внешних таблиц, но не поддерживаются для экспорта. Это делает экспортируемые данные избыточными, поскольку определенные столбцы также появляются в пути к BLOB-объектам, а также фактический файл данных экспортированных данных. - person Dhiraj; 01.07.2021