BigQuery CLI: команды загрузки остаются отложенными

У меня на компьютере есть CSV-файл. Я хочу загрузить этот CSV-файл в таблицу BigQuery. Я использую следующую команду с терминала:

bq load --apilog=./logs --field_delimiter=$(printf ';') --skip_leading_rows=1 --autodetect dataset1.table1 mycsvfile.csv myschema.json

Команда в моем терминале не дает никаких результатов. В интерфейсе GCP я не вижу, чтобы задание создавалось, что заставляет меня думать, что запрос даже не достигает GCP. В файле журнала (из параметра --apilog) я получаю информацию о сделанном запросе, и он заканчивается следующим образом:

INFO:googleapiclient.discovery:URL being requested: POST https://bigquery.googleapis.com/upload/bigquery/v2/projects/myproject/jobs?uploadType=resumable&alt=json

вот и все. Сколько бы я ни ждала, ничего не происходит.


google-bigquery bq
person Community    schedule 26.03.2020    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Я не уверен, почему вы используете

--apilog =. / журналы

Я не нашел этого в bq load документации, поясните, пожалуйста.

Исходя из этого, возможно, проблема связана с командой bq load, вы можете попробовать что-то вроде:

bq load \
--autodetect  \
--source_format=CSV \
--skip_leading_rows= 1  \
--field_delimiter=';'
dataset1.table1 \
gs://mybucket/mycsvfile.csv \
./myschema.json

Если это не удается, проверьте свой список вакансий, чтобы создать вакансию. , затем используйте bq show, чтобы просмотреть информацию об этой вакансии, там вы должны найти сообщение об ошибке, которое поможет вам определить причину проблемы.

person Enrique Zetina    schedule 27.03.2020

arrow_upward
0
arrow_downward

Вы смешиваете --autodetect с myschema.json, примерно так:

bq load --apilog=logs \
--source_format=CSV \
--field_delimiter=';' \
--skip_leading_rows=1 \
--autodetect \
dataset.table \
mycsvfile.csv

Если у вас по-прежнему возникают проблемы, опубликуйте содержание apilog, строка, которой вы поделились, не кажется ошибкой. Должно быть более одной строки, и обычно они содержат ошибку в структуре json, например:

"reason": "invalid",
      "message": "Provided Schema does not match Table project:dataset.table. Field users is missing in new schema"
person rsantiago    schedule 27.03.2020