Публикации по теме 'apache-airflow'
Планирование заданий с помощью Apache AirFlow 2.0 за 10 минут
Система управления рабочими процессами стала проще — объяснение на примерах Python
Apache Airflow — это система управления рабочими процессами, созданная Airbnb. С точки зрения непрофессионала, это можно представить как планировщик заданий на стероидах . Если у вас есть скрипты Python, которые нужно запускать по расписанию или в определенной последовательности, Apache Airflow — это удобный и надежный инструмент, который справляется как с этим, так и с другими задачами. Существует 4..
Apache Airflow: подробное руководство по автоматизации рабочих процессов
Введение
В области проектирования данных и автоматизации рабочих процессов Apache Airflow выделяется как мощная и гибкая платформа. Он позволяет организациям с легкостью создавать, планировать и отслеживать сложные рабочие процессы данных. От обработки данных до конвейеров ETL (извлечение, преобразование, загрузка) и более — возможности оркестровки Airflow упрощают управление задачами и зависимостями. В этой статье мы углубимся в Apache Airflow, его ключевые функции и преимущества,..
Нежное введение, чтобы понять исполнителя воздушного потока
Apache Airflow - это известный фреймворк Python с открытым исходным кодом для планирования задач. В экосистеме Airflow появилось много новых концепций; одна из тех концепций, которые нельзя пропустить, - Airflow Executor , которые являются рабочими станциями для всех запланированных задач. Airflow, как правило, удобен для конечных пользователей, и хорошее понимание Airflow Executor имеет решающее значение для личного использования, а также для производственной среды Airflow. В..
Инженеры по обработке данных не должны писать метки воздушного потока - Часть 2
Предложение фреймворка для Apache Airflow
Это вторая статья о том, почему инженеры по обработке данных не должны создавать группы DAG для Airflow . В этой новой статье мы собираемся представить предложение фреймворка для Apache Airflow.
Эта статья призвана пролить свет на то, как создание фреймворка может помочь вам решить некоторые проблемы, связанные с написанием DAG.
В этой новой статье я сделаю краткий обзор первой части. Так что читать его не обязательно. Тем не менее,..
Airflow DAG - Лучшие Лрактики
Airflow DAG - Лучшие Лрактики
В сообщении блога мы увидим некоторые передовые методы создания групп DAG. Давайте начнем.
DAG как файл конфигурации
Планировщик Airflow сканирует и компилирует файлы DAG при каждом такте. Если файлы DAG тяжелые и в них присутствует много кодов верхнего уровня, планировщик будет потреблять много ресурсов и времени для их обработки при каждом такте. Поэтому рекомендуется, чтобы группы DAG оставались светлыми, больше похожими на файл конфигурации. В..
Привет, мир! с помощью Apache-Airflow
(Иллюстрация основ Apache-Airflow)
Написано в сотрудничестве с Хирен Рупчандани
Предисловие
В предыдущих историях вы узнали, как настроить воздушный поток в Windows (с использованием WSL) , Ubuntu , и > macOS операционные системы. Наконец-то пришло время показать вам, как создать свой первый DAG в воздушном потоке!
В этой статье вы познакомитесь с некоторыми основными понятиями , которые необходимо иметь в виду при сочинении группы обеспечения доступности..
Данные и конвейеры данных
(Введение и важность управления потоками данных)
Написано в сотрудничестве с Хирен Рупчандани
Предисловие
В последнее десятилетие мы наблюдали бум инноваций в области больших данных из-за появления большой объем данных . Данные, полученные из нескольких источников, не могут быть потрачены впустую и требуют тщательной обработки, прежде чем мы сможем использовать их дальше.
Сбор данных из разных источников, их хранение в базе данных, применение бесчисленных..