Изменение поведения настройки уровня изоляции транзакций в Sqoop

В настоящее время мы пытаемся использовать Sqoop для приема данных из Hadoop в хранилище данных SQL Azure, но получаем ошибку, связанную с уровнем изоляции транзакций. Происходит то, что Sqoop пытается установить уровень изоляции транзакции READ COMMITTED при попытке импорта/экспорта, тогда как эта функция в настоящее время не поддерживается в хранилище данных SQL Azure. Я пробовал использовать параметр --relaxed-isolation Sqoop, но все равно безрезультатно. В качестве решения я думаю: 1. Изменить исходный код Sqoop, чтобы изменить поведение Sqoop, чтобы не устанавливать уровень транзакций. 2. Искать API (если есть), которые могут позволить мне изменить поведение этого Sqoop программно.

Кто-нибудь сталкивался с таким сценарием? Ищу предложения по предлагаемым решениям и как их реализовать.


person rh979    schedule 14.12.2016    source источник
comment
Я не могу помочь вам со Sqoop, но рассматривали ли вы возможность использования Polybase для перемещения данных из Hadoop в хранилище данных SQL Azure (ADW)? Это один из его основных вариантов использования и рекомендация Microsoft для высокопроизводительной загрузки данных в ADW.   -  person wBob    schedule 14.12.2016
comment
Мы рассматривали Polybase как потенциальный вариант, но из-за определенных проблем с безопасностью мы не получили одобрения от команды безопасности на его использование в нашем контексте.   -  person rh979    schedule 15.12.2016


Ответы (1)


Эта проблема только что была решена в Sqoop: https://issues.apache.org/jira/browse/SQOOP-2349

В противном случае комментарий @wBob об использовании Polybase определенно является лучшей практикой: https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-sql-data-warehouse-Connector#use-polybase-to-load-data-into-azure-sql-data-warehouse

person Alexandre Gattiker    schedule 14.12.2016
comment
Спасибо за ссылку, однако я думаю, что проблема была решена только для запросов метаданных, но не для всех типов запросов. Я думаю, что импорт/экспорт в Sqoop по-прежнему не будет работать с этим новым патчем. - person rh979; 15.12.2016