Обновление за декабрь 2018 г .:
Если вы думаете о том, чтобы сделать это с помощью функции azure, фабрика данных azure NOW предоставляет вам шаг функции azure! лежащий в основе принцип тот же, что и вам нужно будет предоставить лазурную функцию с помощью триггера HTTP. однако это обеспечивает лучшую безопасность, поскольку вы можете указать доступ экземпляра фабрики данных к функции azure с помощью ACL
Ссылка: https://azure.microsoft.com/en-us/blog/azure-functions-now-supported-as-a-step-in-azure-data-factory-pipelines/
Оригинальный ответ
- Из опубликованных комментариев я считаю, что вы не хотите использовать настраиваемый маршрут действий.
- Вы можете попробовать использовать для этого задачу копирования, хотя, вероятно, это не является предполагаемой целью.
- есть
httpConnector
доступный для копирования данных из веб-источника.
https://docs.microsoft.com/en-us/azure/data-factory/v1/data-factory-http-connector
- задача копирования запускает конечную точку http,
- вы можете указать различные механизмы аутентификации от Basic до OAuth2.
- ниже я использую конечную точку для запуска процесса функции azure, вывод сохраняется в папке datalake для ведения журнала (очевидно, вы можете использовать другие вещи, например, в вашем случае это будет хранилище BLOB-объектов).
Базовая связанная служба
{
"name": "linkedservice-httpEndpoint",
"properties": {
"type": "Http",
"typeProperties": {
"url": "https://azurefunction.api.com/",
"authenticationType": "Anonymous"
}
}
}
Базовый набор входных данных
{
"name": "Http-Request",
"properties": {
"type": "Http",
"linkedServiceName": "linkedservice-httpEndpoint",
"availability": {
"frequency": "Minute",
"interval": 30
},
"typeProperties": {
"relativeUrl": "/api/status",
"requestMethod": "Get",
"format": {
"type": "TextFormat",
"columnDelimiter": ","
}
},
"structure": [
{
"name": "Status",
"type": "String"
}
],
"published": false,
"external": true,
"policy": {}
}
}
Выход
{
"name": "Http-Response",
"properties": {
"structure": [
...
],
"published": false,
"type": "AzureDataLakeStore",
"linkedServiceName": "linkedservice-dataLake",
"typeProperties": {
...
},
"availability": {
...
},
"external": false,
"policy": {}
}
}
Деятельность
{
"type": "Copy",
"name": "Trigger Azure Function or WebJob with Http Trigger",
"scheduler": {
"frequency": "Day",
"interval": 1
},
"typeProperties": {
"source": {
"type": "HttpSource",
"recursive": false
},
"sink": {
"type": "AzureDataLakeStoreSink",
"copyBehavior": "MergeFiles",
"writeBatchSize": 0,
"writeBatchTimeout": "00:00:00"
}
},
"inputs": [
{
"name": "Http-Request"
}
],
"outputs": [
{
"name": "Http-Response"
}
],
"policy": {
...
}
}
person
frictionlesspulley
schedule
06.10.2017