На моей локальной машине я создал виртуальную среду и установил Airflow. Когда дагу или плагину требуется библиотека Python, я устанавливаю ее в тот же виртуальный файл.
Как я могу отслеживать, какие библиотеки принадлежат дагу, а какие используются для самого воздушного потока? Недавно я удалил даг и хотел удалить библиотеки, которые он использовал. Это заняло довольно много времени, и я скрестил пальцы, я не удалил то, что использовал другой даг!
В частности, для более крупных вариантов использования Airflow я бы рекомендовал использовать Airflow как способ организации задач на другом уровне абстракции, чтобы вы не управляли зависимостями со стороны Airflow.
Я бы рекомендовал взглянуть на DockerOperator или KubernetesPodOperator. С их помощью вы можете встраивать свои задачи Python в контейнеры Docker и запускать их с помощью Airflow. Таким образом, вам не нужно управлять зависимостями Python в Airflow, и вы не столкнетесь с аварийными сценариями, когда две DAG имеют конфликтующие зависимости. Однако это требует от вас знаний об управлении кластером Kubernetes.
Вы можете увидеть airflow.operators.python_operator.PythonVirtualenvOperator об использовании в Dags, где вы используете PythonOperator.
Использование VirtualenvOperator вместо PythonOperator изолирует зависимости от Dag до Virtualenv, и вы можете хранить отдельные файлы требований.
Вы можете использовать комментарии в файле требований, чтобы отметить зависимости для Dag например,
package-one # Dag1.
... и когда вы удаляете требования Dag, grep с именем DAG, удалите, а затем удалите строки.
Таким образом, когда вы устанавливаете пакет для DAG, вам нужен процесс для комментирования имени Dag в вашем файле требований. Вы можете написать сценарий для выполнения этого.
