Путаница времени vCPU Google Cloud Composer

Недавно я пробовал Composer запустить мой конвейер и обнаружил, что это стоит на удивление дорого, чем я думал, вот что я получил из счета:

Cloud Composer Cloud Composer vCPU time in South Carolina: 148.749 hours 
[Currency conversion: USD to AUD using rate 1.475] A$17.11
Cloud Composer Cloud Composer SQL vCPU time in South Carolina: 148.749 hours 
[Currency conversion: USD to AUD using rate 1.475] A$27.43

Я использовал Composer всего два или три дня, и определенно не работал 24 часа в сутки, я не знаю, откуда взялись 148 часов.

Означает ли это, что после развертывания dag в композиторе, даже если он не запущен, он все еще использует ресурс, а композитор накапливает время vCPU?

Как снизить затраты, если я хочу использовать Composer для ежедневного запуска конвейера? Спасибо.


google-cloud-composer
person IanJay    schedule 28.12.2019    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Cloud Composer в первую очередь взимает плату за вычислительные ресурсы, выделенные для среды, потому что большинство его компонентов продолжают работать даже при отсутствии развернутых групп DAG. Это связано с тем, что Airflow - это в первую очередь планировщик рабочего процесса, поэтому мало что можно отключить и ожидать, когда рабочий процесс внезапно станет готовым к запуску.

В вашем случае оплачиваемое время vCPU вносится узлами GKE вашей среды и вашей управляемой базой данных Airflow. Помимо количества узлов GKE, мало что можно уменьшить или отключить, поэтому, если вам нужно что-то меньшее, вы можете полностью рассмотреть самоуправляемый Airflow или другую платформу. Тот же комментарий применяется, если ваша основная цель - исключительно обработка данных и вам не нужен аспект планирования, предлагаемый Airflow.

person hexacyanide    schedule 01.01.2020

arrow_upward
2
arrow_downward

На данный момент, насколько мне известно, это еще не фишка композитора.

На уровне рабочего вы должны иметь возможность сделать это, вручную изменив конфигурацию композитора и разрешив его рабочим kubernetes масштабироваться вверх и вниз в соответствии с рабочей нагрузкой.

Джошуа Хендината по следующей ссылке сделал руководство по необходимому шагу для включения автомасштабирования Composer [1].

Также, возможно, вас заинтересует эта статья, где представлены способы сэкономить на композиторских расходах [2].

Надеюсь, что это помогает вам!

[1] https://medium.com/traveloka-engineering/enables-autoscaling-in-google-cloud-composer-ac84d3ddd60.

[2] https://medium.com/condenastengineering/automating-a-cloud-composer-development-environment-590cb0f4d880

person Federico Taranto    schedule 30.12.2019