Как использовать оператор CREATE EXTERNAL TABLE DDL в BigQuery?
У других крупных хранилищ данных, таких как SnowFlake и Hive Based (Presto, AWS Athena ...), он есть, и он очень полезен.
BigQuery - СОЗДАТЬ ВНЕШНЮЮ ТАБЛИЦУ
Ответы (1)
Обновление 14.10.2020, CREATE EXTERNAL TABLE выпущен сегодня.
CREATE EXTERNAL TABLE dataset.table
OPTIONS (
format = 'NEWLINE_DELIMITED_JSON',
uris = ['gs://bucket/*.json']
);
Параметр CREATE EXTERNAL TABLE недоступен в BigQuery, но в качестве альтернативы для этого можно использовать интерфейс командной строки BigQuery:
Создать файл определения таблицы:
$ bq mkdef --autodetect --source_format=NEWLINE_DELIMITED_JSON "gs://gcp-bucket/*.json" > myschema
Создать внешнюю таблицу:
$ bq mk --external_table_definition=myschema bq_dataset.bq_ext_table
Ссылка на документацию:
https://cloud.google.com/bigquery/external-data-sources
person
Soumendra Mishra
schedule
06.10.2020
Я это вижу, но это не стандарт в этой области.
- person Émerson Engroff; 06.10.2020
Я согласен. При желании вы можете использовать клиентский API BigQuery!
- person Soumendra Mishra; 06.10.2020
Да, но я предпочитаю что-то более близкое к стандарту ANSI / ISO для SQL, стандарту де-факто на рынке.
- person Émerson Engroff; 07.10.2020
CREATE EXTERNAL TABLEDDL? Я не думаю, что он доступен в BigQuery. поэтому вы можете сделать запрос функции - Issueetracker.google.com/issues/ - person Mikhail Berlyant schedule 06.10.2020{"hivePartitioningOptions": {"mode": "STRINGS"}эквивалент, как вbq mk --external_table_definition, и AUTO по умолчанию, что для меня пока нереально. - person Émerson Engroff schedule 18.10.2020information_schema.columnsработа с внешними таблицами, как и с собственными таблицами.bq showотлично работает с внешними таблицами. - person Émerson Engroff schedule 18.10.2020