Публикации по теме 'airflow'
Планирование заданий с помощью Apache AirFlow 2.0 за 10 минут
Система управления рабочими процессами стала проще — объяснение на примерах Python
Apache Airflow — это система управления рабочими процессами, созданная Airbnb. С точки зрения непрофессионала, это можно представить как планировщик заданий на стероидах . Если у вас есть скрипты Python, которые нужно запускать по расписанию или в определенной последовательности, Apache Airflow — это удобный и надежный инструмент, который справляется как с этим, так и с другими задачами. Существует 4..
Как удалить DAG по умолчанию из Airflow
Удаление примеров DAG из пользовательского интерфейса Apache Airflow
Airflow — это популярный оркестратор рабочих процессов, ориентированный на пакетную обработку, который приобрел популярность в последние годы. Настроить Airflow очень просто . Когда вы запускаете Airflow, вы можете заметить, что некоторые примеры DAG видны в пользовательском интерфейсе Airflow.
После того, как вы ознакомитесь с инструментом, вы можете удалить эти примеры и начать создавать свои собственные..
Загрузка данных из Postgres в BigQuery с помощью Airflow
Загрузка данных из PostgreSQL в BigQuery с помощью Apache Airflow — пошаговое руководство
Одним из способов загрузки данных из базы данных Postgres (размещенной локально) в Google Cloud BigQuery является использование Airflow, который предлагает множество операторов, которые можно использовать для загрузки данных и процессов интеграции.
Также важно поддерживать использование этих операторов, поскольку они могут помочь нам писать все меньше и больше простого кода для выполнения..
11. Написание DAG хорошего воздушного потока (часть 2)
Мои личные заметки из книги «Конвейеры данных с Apache Airflow» Баса Харенслака и Джулиана де Руйтера — глава 4, часть 1
Введение
Эта серия постов подытоживает мои выводы из книги Баса Харенслака и Джулиана де Рюйтера. Если вам нравится контент, вы можете приобрести…
12. Пишем Airflow PythonOperator с шаблонами Jinja
Мои личные заметки из книги «Конвейеры данных с Apache Airflow» Баса Харенслака и Джулиана де Руйтера — глава 4, часть 2
Введение
Эта серия постов подытоживает мои выводы из книги Баса Харенслака и Джулиана де Рюйтера. Если хочешь…
Доставка ML-кода в производство за несколько дней: как мы сэкономили много денег нашей компании с…
Обзор
В нашей компании в производстве на постоянной основе находятся сотни моделей машинного обучения (ML) и расчетных скриптов. И наше подразделение Data Engineering поставило задачу сделать какой-нибудь CD/CD-компонент, наиболее подходящий для наших целей:
Большое количество используемых библиотек от проекта к проекту Различные исполнительные платформы Гибкое расписание Уменьшение времени выхода на рынок (TTM) Масштабируемость и отказоустойчивость
Для достижения наших целей мы..
10. Написание DAG хорошего воздушного потока
Мои личные заметки из книги «Конвейеры данных с Apache Airflow» Баса Харенслака и Джулиана де Руйтера — глава 3, часть 6
Введение
Эта серия постов подытоживает мои выводы из книги Баса Харенслака и Джулиана де Рюйтера. Если вам нравится содержание, вы можете приобрести книгу на Manning .
