Airflow ожидает завершения всех задач в пакете перед запуском нового набора запросов

Я использую Airflow 1.9.0. И мы поняли, что планировщик иногда зависает, ожидая завершения длительной задачи, прежде чем запускать новый набор задач. Когда это происходит, все задачи с воздушным потоком перестают работать, за исключением длительных.

root      5111     1  0 17:58 ?        00:00:02 /usr/bin/python2 /bin/airflow scheduler -n 5 --pid /run/airflow/scheduler.pid
root      5489  5119  0 17:58 ?        00:00:11 /usr/bin/python2 /usr/bin/airflow run ....
root      5522  5489  0 17:59 ?        00:00:01 /usr/bin/python2 /usr/bin/airflow run ....
root      5118  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5119  5111  0 17:58 ?        00:00:00 /usr/bin/python2 /bin/airflow scheduler -n 5 --pid /run/airflow/scheduler.pid
root      5120  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5121  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5122  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5123  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5124  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5125  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5126  5111  0 17:58 ?        00:00:00 [airflow] <defunct>

Есть идеи, что мы делаем не так?

Спасибо,


airflow airflow-scheduler
person Younes    schedule 01.02.2019    source источник
comment
Применительно к ..all airflow schedulers are defunct..; вы случайно не имели в виду all airflow tasks are defunct? потому что запуск нескольких schedulers не кажется хорошей идеей   -  person y2k-shubham    schedule 01.02.2019
comment
Вы, конечно, правы! Я имел ввиду все задачи ...   -  person Younes    schedule 01.02.2019

Ответы (1)


arrow_upward
3
arrow_downward

Удалите -n 5 из /bin/airflow scheduler -n 5. -n - это устаревшая функция воздушного потока. LocalExecutor запускается в процессе, отсюда и такое поведение. Используйте Airflow 1.8.1+ и не используйте «-n 5», и вы не столкнетесь с проблемой с LocalExecutor.

Для получения дополнительной информации об этом: https://issues.apache.org/jira/browse/AIRFLOW-401?focusedCommentId=16094732&page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel#comment-16094732

person kaxil    schedule 04.02.2019