Есть ли способ создать задание или службу Azure в Azure для перемещения (вырезания) файлов больших двоичных объектов Azure в хранилище озера данных Azure?
Как скопировать файлы больших двоичных объектов Azure в Azure Data Lake Analytics
Ответы (2)
Я бы сказал, что фабрика данных Azure хорошо подходит для этого. Он поддерживает планирование (https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution) и поддерживает передачу данных из BLOB-объектов в Azure Data Lake. См. этот пример: https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-datalake-connector
С веб-сайта:
Фабрика данных – это облачная служба интеграции данных, которая организует и автоматизирует перемещение и преобразование данных. Вы можете создавать решения для интеграции данных с помощью службы фабрики данных, которая может принимать данные из различных хранилищ данных, преобразовывать/обрабатывать данные и публиковать данные результатов в хранилищах данных.
Служба фабрики данных позволяет создавать конвейеры данных, которые перемещают и преобразовывают данные, а затем запускают конвейеры по заданному расписанию (ежечасно, ежедневно, еженедельно и т. д.). Он также предоставляет широкие возможности визуализации для отображения происхождения и зависимостей между вашими конвейерами данных и мониторинга всех ваших конвейеров данных из единого унифицированного представления, чтобы легко выявлять проблемы и настраивать оповещения мониторинга.
https://docs.microsoft.com/en-us/azure/data-factory/data-factory-introduction
Azure Data Lake Analytics — это служба вычислений, а не хранилище данных.
Задания Data Lake Analytics могут подключаться к данным на:
- Магазин озера данных
- Хранилище Azure (Blob): см. https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-manage-use-portal#manage-account-источникиданных
- Другие источники через федеративные запросы: http://sqlblog.com/blogs/jorg_klein/archive/2016/06/17/setup-azure-data-lake-analytics-federated-u-sql-queries-to.-azure-sql-database.aspx
Таким образом, вы можете либо оставить данные в хранилище BLOB-объектов, либо использовать Фабрику данных Azure для передачи их в Data Lake Store, чтобы добиться максимальной производительности Analytics и воспользоваться другими ее преимуществами (см. https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview).