Задачи не запускаются для Airflow, работающего внутри контейнера

Я пытаюсь запустить Airflow в контейнере и использовал изображение, доступное здесь. Я обнаружил, что хотя DAG переходит в рабочее состояние (в пользовательском интерфейсе), задачи внутри DAG, похоже, ждут бесконечно и никогда не запускаются. Учитывая, что некоторые из шагов, приведенных в документации, являются необязательными, я выполнил эти шаги, чтобы запустить примеры DAG в моем контейнере:

Вытащил образ из dockerhub

docker pull puckel/docker-airflow

Триггерный воздушный поток с настройками по умолчанию, который должен запускать его с помощью последовательного исполнителя

docker run -d -p 8080:8080 -e LOAD_EX=y puckel/docker-airflow

Я относительно новичок в настройке Airflow и докеров, хотя раньше работал с Airflow. Так что, возможно, мне здесь не хватает чего-то очень простого, поскольку, похоже, никто не сталкивается с такой же проблемой. Любая помощь будет высоко ценится.


docker airflow airflow-scheduler
person SHASHWAT SHUKLA    schedule 25.10.2018    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Последовательный исполнитель не является планировщиком, поэтому он запускает только задания, созданные вручную, из пользовательского интерфейса или команды запуска. Определенные виды задач не будут выполняться в последовательном исполнителе, я думаю, что его SubdagOperators не будет. Хотя, честно говоря, он должен собирать фиктивные задачи, bash или python, вы можете сэкономить время, выясняя это, если запустите планировщик, локальный исполнитель и db. У Пакеля есть пример файла для создания докеров, https://github.com/puckel/docker-airflow

person dlamblin    schedule 25.10.2018
comment
Спасибо большое за вашу помощь. Я попытался запустить локальный исполнитель и теперь вижу работающие контейнеры веб-сервера и postgres (с помощью команды docker ps). После входа в контейнер (используя / bin / bash для доступа к оболочке) я попробовал команду airflow initdb, и она потерпела неудачу, заявив, что не может создать объект Fernet. Более того, сейчас я не могу видеть образцы DAG в пользовательском интерфейсе. Есть ли что-то действительно базовое, чего мне здесь не хватает? Кажется, никто больше не сталкивается с этой проблемой. - person SHASHWAT SHUKLA; 26.10.2018
comment
@SHASHWATSHUKLA, entrypoint.sh уже должен был попытаться запустить базу данных. github.com/puckel/docker-airflow/blob/master/script/; Я думаю, что ваш сбой ключа фернета происходит из-за отсутствия настроек файлов конфигурации или отсутствия переопределений конфигурации среды для ключа фернета. Точка входа генерирует новую и уникальную при каждом запуске github. com / puckel / docker-airflow / blob / master / script /, что может быть проблемой github.com/puckel/docker-airflow/issues/39 - person dlamblin; 26.10.2018