Публикации по теме apache-airflow

Публикации по теме 'apache-airflow'

Планирование заданий с помощью Apache AirFlow 2.0 за 10 минут

Система управления рабочими процессами стала проще — объяснение на примерах Python Apache Airflow — это система управления рабочими процессами, созданная Airbnb. С точки зрения непрофессионала, это можно представить как планировщик заданий на стероидах . Если у вас есть скрипты Python, которые нужно запускать по расписанию или в определенной последовательности, Apache Airflow — это удобный и надежный инструмент, который справляется как с этим, так и с другими задачами. Существует 4..

Apache Airflow: подробное руководство по автоматизации рабочих процессов

Введение В области проектирования данных и автоматизации рабочих процессов Apache Airflow выделяется как мощная и гибкая платформа. Он позволяет организациям с легкостью создавать, планировать и отслеживать сложные рабочие процессы данных. От обработки данных до конвейеров ETL (извлечение, преобразование, загрузка) и более — возможности оркестровки Airflow упрощают управление задачами и зависимостями. В этой статье мы углубимся в Apache Airflow, его ключевые функции и преимущества,..

Нежное введение, чтобы понять исполнителя воздушного потока

Apache Airflow - это известный фреймворк Python с открытым исходным кодом для планирования задач. В экосистеме Airflow появилось много новых концепций; одна из тех концепций, которые нельзя пропустить, - Airflow Executor , которые являются рабочими станциями для всех запланированных задач. Airflow, как правило, удобен для конечных пользователей, и хорошее понимание Airflow Executor имеет решающее значение для личного использования, а также для производственной среды Airflow. В..

Инженеры по обработке данных не должны писать метки воздушного потока - Часть 2

Предложение фреймворка для Apache Airflow Это вторая статья о том, почему инженеры по обработке данных не должны создавать группы DAG для Airflow . В этой новой статье мы собираемся представить предложение фреймворка для Apache Airflow. Эта статья призвана пролить свет на то, как создание фреймворка может помочь вам решить некоторые проблемы, связанные с написанием DAG. В этой новой статье я сделаю краткий обзор первой части. Так что читать его не обязательно. Тем не менее,..

Airflow DAG - Лучшие Лрактики

Airflow DAG - Лучшие Лрактики В сообщении блога мы увидим некоторые передовые методы создания групп DAG. Давайте начнем. DAG как файл конфигурации Планировщик Airflow сканирует и компилирует файлы DAG при каждом такте. Если файлы DAG тяжелые и в них присутствует много кодов верхнего уровня, планировщик будет потреблять много ресурсов и времени для их обработки при каждом такте. Поэтому рекомендуется, чтобы группы DAG оставались светлыми, больше похожими на файл конфигурации. В..

Привет, мир! с помощью Apache-Airflow

(Иллюстрация основ Apache-Airflow) Написано в сотрудничестве с Хирен Рупчандани Предисловие В предыдущих историях вы узнали, как настроить воздушный поток в Windows (с использованием WSL) , Ubuntu , и > macOS операционные системы. Наконец-то пришло время показать вам, как создать свой первый DAG в воздушном потоке! В этой статье вы познакомитесь с некоторыми основными понятиями , которые необходимо иметь в виду при сочинении группы обеспечения доступности..

Данные и конвейеры данных

(Введение и важность управления потоками данных) Написано в сотрудничестве с Хирен Рупчандани Предисловие В последнее десятилетие мы наблюдали бум инноваций в области больших данных из-за появления большой объем данных . Данные, полученные из нескольких источников, не могут быть потрачены впустую и требуют тщательной обработки, прежде чем мы сможем использовать их дальше. Сбор данных из разных источников, их хранение в базе данных, применение бесчисленных..