Пользовательский интерфейс Spark Jobs в Azure Synapse имеет возможность передавать аргументы командной строки в базовый код, но, похоже, нет никакой возможности параметризовать эти аргументы.
Точно так же действие «Определение задания Spark» в Azure Pipelines не предлагает никаких параметров параметризации.
Есть ли способ передать параметры в задание Azure Synapse?
Он есть в Azure Synapse Pipelines. Выпущено в мае 2021 года.
В настоящее время группа разработчиков продукта работает над общедоступным документом / руководством по параметризации заданий Spark.
На данный момент вы можете использовать файл JSON определения задания для параметризации задания Spark. Прикрепил один образец файла:
{
"targetBigDataPool": {
"referenceName": "yifso-1019",
"type": "SparkComputeReference"
},
"requiredSparkVersion": "2.4",
"jobProperties": {
"name": "job definition sample",
"file": "wasbs://[email protected]/SparkSubmission/artifact/default_artifact.jar",
"className": "sample.LogQuery",
"args": [],
"jars": [],
"pyFiles": [],
"archives": [],
"files": [],
"conf": {
"spark.hadoop.fs.azure.account.key.StorageName.blob.core.windows.net": "StorageAccessKey"
},
"numExecutors": 2,
"executorCores": 4,
"executorMemory": "14g",
"driverCores": 4,
"driverMemory": "14g"
}
}
JSON определения задания можно изменять, импортировать и запускать напрямую.
