копировать файлы больших двоичных объектов в лазурный синапс с помощью ADF

Мои исходные файлы находятся в хранилище BLOB-объектов Azure в формате CSV.

Я хочу, чтобы эти файлы были распакованы и переместились в синапс Azure с помощью ADF. В источнике активности копирования я дал вход для хранилища BLOB-объектов, а в приемнике я дал вход для синапса. Но я не уверен, какой метод копирования мне нужно выбрать в Polybase, Copy Command (Preview) или Bulk insert. Я пробовал использовать методы копирования Polybase и Bulk Insert. Но при запуске конвейера я получил ошибку ниже.

ErrorCode=FailedDbOperation,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Error happened when loading data into SQL Data Warehouse.,
Source=Microsoft.DataTransfer.ClientLibrary,''Type=System.Data.SqlClient.SqlException,
Message=User does not have permission to perform this action.,Source=.Net SqlClient Data Provider,
SqlErrorNumber=15247,Class=16,ErrorCode=-2146232060,State=1,Errors=[{Class=16,Number=15247,State=1,Message=User does not have permission to perform this action.,},],'

Но в Azure sql Datawarehouse я могу вставлять данные с помощью sql-скриптов, поэтому я считаю, что вышеуказанная ошибка разрешения пользователя не является проблемой, которая может привести к сбою моего конвейера.

Не могли бы вы помочь мне, так как я новичок в Azure?

Спасибо


person Gowri Shankar    schedule 01.12.2020    source источник
comment
IIRC вы предоставляете учетные данные для подключения при настройке источника / приемника данных. Используйте эти учетные данные, чтобы убедиться, что у него есть доступ на запись к правильной схеме / таблице.   -  person Kashyap    schedule 02.12.2020
comment
PS: (сложнее, но) НАМНОГО дешевле создать собственную оркестровку для использования команды COPY для загрузки файлов csv в Synapse вместо фабрики данных.   -  person Kashyap    schedule 02.12.2020
comment
Используете ли вы того же пользователя / учетной записи для подключения к синапсу Azure?   -  person Leon Yue    schedule 02.12.2020
comment
Спасибо Кашьяпу за ответ. Не могли бы вы дать больше информации о способе оркестровки?   -  person Gowri Shankar    schedule 02.12.2020
comment
Привет, ребята .. Большое спасибо за ответ. Но проблема в настройках брандмауэра БД. Теперь она исправлена, и я могу скопировать файл в dw.   -  person Gowri Shankar    schedule 04.12.2020
comment
Привет @GowriShankar, добро пожаловать! Извините за поздний ответ. Я помогу вам опубликовать его в качестве ответа, и другие могут узнать, что ваша проблема решена. Надеюсь, вы сможете принять его как ответ (нажмите на галочку рядом с ответом, чтобы переключить его с серого на заполненный). Это может быть полезно для других членов сообщества. Спасибо.   -  person Leon Yue    schedule 29.12.2020


Ответы (1)


Проблема вызвана настройками брандмауэра базы данных.

Мы рады слышать, что сейчас это исправлено.

person Leon Yue    schedule 29.12.2020