Конвейерная обработка в GCP

У меня есть много данных, которые регулярно собираются из источников и хранятся в корзинах GCS. В настоящее время они хранятся в одном местном регионе (Лондон). Мы передаем эти данные по конвейеру с помощью ETL, используя комбинацию сервисов GCP (например, композитор, функции потока данных или облачные функции и т. Д.) В таблицы BigQuery, которые находятся в том же регионе (например, europe-west2 London).

в дополнение к этому, я хотел бы передать эти данные (например, корзины) в разные таблицы BQ, расположенные в другом регионе.

Итак, в итоге на выходе получаются большие таблицы запросов, расположенные в двух разных регионах, а именно:

Ковши GCS: проект 1, ковши в Лондоне (европа-запад2)

Результат1: таблица BQ по проекту1 регион1 (европа-запад2 Лондон) - (существующий)

Ожидаемый: результат 2: таблица BQ для проекта 2, регион 2 (ЕС) - либо в нескольких регионах, либо в Бельгии.

Могу ли я это сделать и как сделать это эффективно?

Ценю предложение и помощь в этом. Спасибо!


google-cloud-platform google-bigquery google-cloud-dataflow google-cloud-composer
person busheriff    schedule 30.10.2019    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Один из вариантов - использовать межрегиональную копию вашего набора данных BigQuery. Эта функция в настоящее время находится на стадии бета-тестирования и пока бесплатна (обратите внимание, что она не всегда может быть бесплатной).

Несмотря на то, что эта услуга находится в ограниченном месте, поддерживаются как европа-запад2, так и ЕС.

person Yun Zhang    schedule 30.10.2019
comment
Спасибо за эту информацию. Да, я использую это сейчас уже несколько недель. Я могу копировать наборы данных по регионам, но похоже, что Google разрешает это только два раза в день. есть ли простой способ делать это чаще (т. е. ежечасно)? - person busheriff; 21.11.2019
comment
@busheriff Я считаю, что есть ограничения только потому, что сейчас это бесплатно. Как только вы заплатите за то, что вы использовали, не будет ограничений на то, сколько вы хотите потратить :) - person Yun Zhang; 22.11.2019

arrow_upward
0
arrow_downward

Помимо межрегиональной копии, вы можете создать конвейер, в котором вы читаете файлы из GCS, и направлять их в Pub-Sub Topic. Тогда из темы Pub-Sub вы можете отправить BigQuery для конкретного региона?

person Prashant    schedule 30.10.2019