Вопросы по теме 'airflow-scheduler'
Apache Airflow Celery Redis DecodeError
Использование последней версии apache airflow. Начал с LocalExecutor, в этом режиме все работало нормально, за исключением некоторых взаимодействий, в веб-интерфейсе указано, что для их использования необходим CeleryExecutor. Установил и настроил...
661 просмотров
schedule
03.08.2023
python 3.6 Превышено максимальное количество повторных попыток с URL-адресом
Я использую запросы для входа на сервер и получаю следующую ошибку:
[2018-01-12 11:56: 43,931] {base_task_runner.py:95} ИНФОРМАЦИЯ - Подзадача: requests.exceptions.ConnectionError: HTTPConnectionPool (host = 'XX.XX.XX.XX', port = 80):...
3679 просмотров
schedule
06.11.2022
Airflow: простой DAG с одной задачей никогда не завершается
Я сделал очень простой DAG, который выглядит так:
from datetime import datetime
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
cleanup_command = "/home/ubuntu/airflow/dags/scripts/log_cleanup/log_cleanup.sh "...
6579 просмотров
schedule
28.05.2022
Лучший способ распространить код на веб-сервер / планировщик воздушного потока + рабочие и рабочий процесс
Что люди считают лучшим способом распространения кода (даги) на веб-сервер / планировщик воздушного потока + воркеры? Я пытаюсь запустить сельдерей на большом кластере рабочих, поэтому любые обновления вручную нецелесообразны.
Я развертываю...
1730 просмотров
schedule
09.08.2022
Airflow + Cluster + Celery + SQS — Airflow Worker: объект «Hub» не имеет атрибута «_current_http_client»
Я пытаюсь объединить настройки Airflow и использую эту статью , чтобы сделать так. Я только что настроил свой файл airflow.cfg для использования CeleryExecutor , я указал свой sql_alchemy_conn на мою базу данных postgresql, которая работает на...
3500 просмотров
schedule
04.10.2022
Воздушный поток: установите значение по умолчанию в коде, если переменная не существует без исключения
У меня небольшая проблема, я хочу сделать типичное условное выражение, например
setting_x = Variable.get('setting_x')
variable = setting_x if setting_x else 0
Но поскольку модель Airflow выдает исключение, когда ключ не существует,...
6952 просмотров
schedule
26.04.2022
Airflow: планирование задачи несколько раз в день
Я получаю информацию от пользователя о расписании задач. Я хочу запускать задачу несколько раз в день. Как это возможно с помощью Airflow?
3104 просмотров
schedule
05.11.2022
SSHOperator показывает «Нет статуса» после запуска вручную
Я новичок в airflow и написал простой SSHOperator, чтобы узнать, как он работает.
default_args = {
'start_date': datetime(2018,6,20)
}
dag = DAG(dag_id='ssh_test', schedule_interval = '@hourly',default_args=default_args)
sshHook =...
2826 просмотров
schedule
12.09.2023
Airflow — правильный способ обработки обратных вызовов DAG
У меня есть DAG , а затем всякий раз, когда он успешен или терпит неудачу, я хочу, чтобы он запускал метод, который отправляет сообщения в Slack.
Мой DAG args выглядит следующим образом:
default_args = {
[...]
'on_failure_callback':...
7518 просмотров
schedule
15.08.2022
Необходимо получить доступ к расписанию в DockerOperator в Airflow
Необходимо получить доступ к расписанию в операторе докера воздушного потока. Например
t1 = DockerOperator(
task_id="task",
dag=dag,
image="test-runner:1.0",
docker_url="xxx.xxx.xxx.xxx:2376",
environment={"FROM": "{{(execution_date +...
1080 просмотров
schedule
23.10.2022
Разрешения БД метаданных Airflow
Есть ли место, где я могу найти список разрешений, которые мне нужно предоставить для создания metadadb в mysql? Я не хочу предоставлять все для пользователя воздушного потока.
179 просмотров
schedule
07.05.2023
Redis — избегайте потери данных с помощью кластера (используя протокол сплетен)
Мы хотели бы развернуть приложение Airflow на Kubernetes в 2 центрах обработки данных.
Контейнер Airflow Scheduled генерирует DAG каждые 1, 5 и 10 минут. Эти DAG — это задачи, которые будут назначены контейнеру Airflow Worker.
В процессе...
266 просмотров
schedule
02.05.2023
Выполнение сценариев R в среде воздушного потока Google Cloud Composer
Я хотел бы выполнить сценарий R из дага в среде Google Cloud Composer. Как установить R в Composer и запустить сценарий R?
604 просмотров
schedule
20.11.2023
Как получить время выполнения цепочки DAG в Airflow?
Допустим, у меня есть два DAG, где dag2 выполнял dag1 как часть своего потока, используя TriggerDagRunOperator следующим образом:
dag1: задача1> задача2> задача3
dag2: task4> dag1> task5
Теперь предположим, что dag2 запланирован на один...
756 просмотров
schedule
12.02.2023
Расписание Apache Airflow dag в полночь по всемирному координированному времени
Я создал Apache Airflow DAG со следующими аргументами по умолчанию. Я хочу, чтобы этот DAG запускался каждый день в 22:00 по всемирному координированному времени, но он всегда работает в 12:00 по всемирному координированному времени и игнорирует...
861 просмотров
schedule
27.02.2023
Задачи не запускаются для Airflow, работающего внутри контейнера
Я пытаюсь запустить Airflow в контейнере и использовал изображение, доступное здесь . Я обнаружил, что хотя DAG переходит в рабочее состояние (в пользовательском интерфейсе), задачи внутри DAG, похоже, ждут бесконечно и никогда не запускаются....
1239 просмотров
schedule
17.05.2023
Задача воздушного потока с нулевым статусом
У меня проблема с воздушным потоком при запуске на машине 24xlarge на EC2.
Сразу отмечу, что уровень параллелизма равен 256.
В течение нескольких дней дагрун завершает работу со статусом «провал» по двум неопределенным причинам:
Некоторая...
5113 просмотров
schedule
10.04.2022
Airflow ожидает завершения всех задач в пакете перед запуском нового набора запросов
Я использую Airflow 1.9.0. И мы поняли, что планировщик иногда зависает, ожидая завершения длительной задачи, прежде чем запускать новый набор задач. Когда это происходит, все задачи с воздушным потоком перестают работать, за исключением длительных....
617 просмотров
schedule
31.08.2022
Ошибка: / run / airflow не существует. Не могу создать pidfile. при использовании systemd для веб-сервера Airflow
Я настроил свою настройку Airflow для работы с systemd в соответствии с этим . Это было здорово в течение пары дней, но возникли некоторые ошибки, которые я не могу понять, как исправить. Запуск sudo systemctl start airflow-webserver.service на...
1647 просмотров
schedule
11.04.2022
Даг Airflow работает большую часть времени, но время от времени зависает. Каков наилучший способ отладить это?
Одна из моих DAG Airflow большую часть времени работает без проблем. Однако время от времени (каждые ›3 часа) он зависает.
В этом состоянии его задачи не ставятся в очередь (см. прикрепленное изображение), а также не активируются тайм-ауты,...
367 просмотров
schedule
10.02.2023
