Даг Airflow работает большую часть времени, но время от времени зависает. Каков наилучший способ отладить это?

Одна из моих DAG Airflow большую часть времени работает без проблем. Однако время от времени (каждые ›3 часа) он зависает.

В этом состоянии его задачи не ставятся в очередь (см. прикрепленное изображение), а также не активируются тайм-ауты, существующие на конкретных задачах. Единственный способ выйти из такого сценария — это вручную пометить этот запуск как неудачный.

За этой ошибкой всегда следует другая немедленная ошибка (см. пустые ячейки на изображении).

Что я должен искать в журналах и / или какие есть другие способы отладки?

увидеть пустые ячейки


airflow airflow-scheduler
person abhishekbh    schedule 11.03.2019    source источник
comment
это выглядит похоже   -  person y2k-shubham    schedule 12.03.2019
comment
спасибо за ссылку. Я думаю, что одна из причин, по которой моя проблема не похожа на вышеизложенную, заключается в том, что планировщик, кажется, работает или собирает задачи dag (см. красные точки в первой строке на изображении), однако на самом деле он никогда не срабатывает. от задач, следовательно, пробелы.   -  person abhishekbh    schedule 12.03.2019
comment
Видите ли вы что-нибудь подозрительное в журнале планировщика за время выполнения невыполненных заданий?   -  person SergiyKolesnikov    schedule 13.03.2019
comment
@SergiyKolesnikov, честно говоря, ничего особенного, в этих случаях не было сообщений об ошибках. Журналы немного более загадочны, чем мне хотелось бы, что-то конкретное, что я должен искать?   -  person abhishekbh    schedule 15.03.2019

Ответы (1)


arrow_upward
0
arrow_downward

Обнаружил проблему, просто некоторые задачи выполнялись дольше расписания и, следовательно, выполнялись дважды параллельно.

Я надеялся, что в таких случаях airflow предоставит какую-то обратную связь в журналах или пользовательском интерфейсе, но это не так.

Решено.

person abhishekbh    schedule 20.03.2019