Учитывая, что композитор GCP работает с GKE / GCE, это автоматическое масштабирование? Теперь у меня есть 3 узла в кластере для поддержки, скажем, 100 групп DAG.
Позже, если у меня будет около 300 DAG, будет ли он расширяться (с рабочими сельдереями)?
На данный момент автомасштабирования нет, но я ожидаю, что это будет в дорожной карте.
Astronomer работает над сервисом автомасштабирования Airflow с использованием Kubernetes, он, вероятно, запустится примерно в то время, когда Google Composer запустит автоматическое масштабирование ... так что хорошие времена наступают :)
В настоящее время мы не поддерживаем автоматическое масштабирование, но это в нашей дорожной карте. Однако вы можете вручную увеличить / уменьшить кластер GKE, обновив значение nodeCount.
Я только что опубликовал статью, показывающую, как включить автоматическое масштабирование в базовых кубернетах https://link.medium.com/AMUlwUIkD0.
По сути:
Включить автомасштабирование на уровне узла
Примените HorizontalPodAutoscaler к развертыванию airflow-worker
Увеличьте некоторые параметры конфигурации воздушного потока, чтобы устранить узкое место
Это было протестировано в composer-1.7.2 и composer-1.7.5, но может быть применимо и к другой версии.
Проверьте это
