Длительный процесс Python с помощью Google Cloud Functions

Я пытаюсь запустить скрипт Python в Google Cloud, который будет загружать 50 ГБ данных один раз в день в корзину хранилища. Эта загрузка может занять больше времени, чем время ожидания для облачных функций Google, установленное на 9 минут. Запрос на вызов функции python запускается HTTP.

Есть ли способ обойти эту проблему? Мне не нужно запускать службу HTTP Restful, поскольку она вызывается один раз в день из внешнего источника. (Не может быть запланировано).

Основная идея заключается в том, чтобы загружать большие объемы данных непосредственно в облако. Спасибо за любые предложения.


python google-cloud-functions long-running-processes
person FreshMike    schedule 04.07.2019    source источник

Ответы (2)


arrow_upward
2
arrow_downward

9 минут - жесткое ограничение для облачных функций, которое нельзя превышать. Если вы не можете разделить свою работу на более мелкие части, по одной для каждого вызова функции, подумайте об использовании другого продукта. Cloud Run ограничивается 15 минутами, а Compute Engine не имеет ограничений, которые применялись бы к вам.

person Doug Stevenson    schedule 04.07.2019

arrow_upward
0
arrow_downward

Для этого может подойти Google Cloud Scheduler.

Вот хороший блог Google сообщение, в котором показан пример настройки скрипта Python.

p.s. вы, вероятно, захотите подключить его к App Engine для фактического выполнения.

person Neil    schedule 03.03.2020