Загрузка данных Azure SQL DW занимает много времени

Я подозреваю, что ваша проблема заключается в сжатии файлов. Во многих лазурных документах указано, что вы получите только одно средство чтения для каждого сжатого файла. В качестве теста я бы посоветовал вам распаковать ваши данные и попробовать загрузить и посмотреть, будет ли распаковка/загрузка быстрее, чем 10 часов загрузки сжатых данных, которые вы сейчас видите. Мне также повезло с несколькими файлами, а не с одним большим файлом, если это вариант для вашей системы.

Пожалуйста, ознакомьтесь с приведенным ниже блогом SQL CAT об оптимизации загрузки данных. https://blogs.msdn.microsoft.com/sqlcat/2016/02/06/azure-sql-data-warehouse-loading-patterns-and-strategies/

Основываясь на предоставленной информации, следует принять во внимание несколько вещей:

1) Расположение файлов BLOB-объектов по сравнению с экземпляром DW. Убедитесь, что они находятся в одном регионе. 2) Clustered Columnstore включен по умолчанию. Если вы загружаете 22 ГБ данных, загрузка HEAP может работать лучше (но также не уверена в количестве строк). Так:

CREATE TABLE Trxdata.Details_data12 
WITH (HEAP, DISTRIBUTION = ROUND_ROBIN)
AS SELECT * FROM Trxdata.Stage_External_Table_details_data ;

Если проблема не устранена, отправьте запрос в службу поддержки: https://azure.microsoft.com/en-us/documentation/articles/sql-data-warehouse-get-started-create-support-ticket./

Вы упомянули, что данные в сжатом формате. В скольких сжатых файлах хранятся данные? Для сжатых файлов вы добьетесь большего параллелизма и, следовательно, лучшей производительности, когда данные распределены по многим файлам. Наличие данных в нескольких файлах не требуется для несжатых файлов для повышения производительности, поэтому еще один способ проверить, является ли это вашей проблемой производительности, — распаковать ваши файлы.