Есть ли какой-либо API или функция, которая может создавать DAG в воздушном потоке по запросу? У нас есть более тысячи DAG в папке DagBag, и планировщику требуется значительное время для сканирования, и, следовательно, производительность падает. Мы увеличили время сканирования папки DagBag до 1 дня, чтобы управлять этим поведением, но каждый новый созданный DAG требует перезапуска планировщика, чего мы хотели бы избежать. Пожалуйста, порекомендуйте.
Airflow создать dag api или функцию
Ответы (1)
Вероятно, вы можете делать следующее:
- Перенесите всю вашу основную логику в даги в вызываемые функции
- И иметь общий Dag, который будет вызывать эти функции, содержащие вашу основную логику, и выполнять в заданное определенное время.
Вам нужно будет где-нибудь сохранить список ваших основных функций и время выполнения (это может быть база данных или какой-то файл, который вы можете прочитать)
Это будет случай наличия небольшого расписания поверх воздушного потока, которое является избыточным, поскольку воздушный поток делает то же самое для вас, но я думаю, что ваш вариант использования выиграет от этого.
person
khari-sing
schedule
27.08.2020
"..and therefore performance is degrading.."это относится кschedulerилиwebserver? - person y2k-shubham schedule 26.08.2020