Как скопировать файлы больших двоичных объектов Azure в Azure Data Lake Analytics

Есть ли способ создать задание или службу Azure в Azure для перемещения (вырезания) файлов больших двоичных объектов Azure в хранилище озера данных Azure?


person Ravi Anand    schedule 06.12.2016    source источник
comment
Первый результат в Google: docs.microsoft.com/en-us/azure/data-lake-store/   -  person    schedule 06.12.2016
comment
Спасибо, я был на этом. мой вопрос: мне всегда нужно запускать эту команду вручную, чтобы выполнить это, или я могу создать задание, которое автоматически выполнит это позже?   -  person Ravi Anand    schedule 06.12.2016


Ответы (2)


Я бы сказал, что фабрика данных Azure хорошо подходит для этого. Он поддерживает планирование (https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution) и поддерживает передачу данных из BLOB-объектов в Azure Data Lake. См. этот пример: https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-datalake-connector

С веб-сайта:

Фабрика данных – это облачная служба интеграции данных, которая организует и автоматизирует перемещение и преобразование данных. Вы можете создавать решения для интеграции данных с помощью службы фабрики данных, которая может принимать данные из различных хранилищ данных, преобразовывать/обрабатывать данные и публиковать данные результатов в хранилищах данных.

Служба фабрики данных позволяет создавать конвейеры данных, которые перемещают и преобразовывают данные, а затем запускают конвейеры по заданному расписанию (ежечасно, ежедневно, еженедельно и т. д.). Он также предоставляет широкие возможности визуализации для отображения происхождения и зависимостей между вашими конвейерами данных и мониторинга всех ваших конвейеров данных из единого унифицированного представления, чтобы легко выявлять проблемы и настраивать оповещения мониторинга.

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-introduction

person Peter Bons    schedule 06.12.2016

Azure Data Lake Analytics — это служба вычислений, а не хранилище данных.

Задания Data Lake Analytics могут подключаться к данным на:

Таким образом, вы можете либо оставить данные в хранилище BLOB-объектов, либо использовать Фабрику данных Azure для передачи их в Data Lake Store, чтобы добиться максимальной производительности Analytics и воспользоваться другими ее преимуществами (см. https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview).

person Alexandre Gattiker    schedule 06.12.2016