Как интерпретировать процесс запроса GB в BigQuery?

Я использую бесплатную пробную версию Google bigquery. Это тот запрос, который я использую.

select * from `test`.events where subject_id = 124 and id = 256064 and time >= '2166-01-15T14:00:00' and time <='2166-01-15T14:15:00' and id_1 in (3655,223762,223761,678,211,220045,8368,8441,225310,8555,8440)

Ожидается, что этот запрос вернет не более 300 записей, но не более.

Однако я вижу такое сообщение, как показано ниже

введите здесь описание изображения

Но таблица, на которой работает этот запрос, действительно огромна. Это указывает на размер стола? Однако я выполнял этот запрос несколько раз в день.

Из-за этого это привело к ошибке ниже

Превышена квота: ваш проект превысил квоту для просканированных бесплатных байтов запроса. Для получения дополнительной информации см. https://cloud.google.com/bigquery/troubleshooting-errors

Как долго мне нужно ждать, пока эта ошибка исчезнет? Дневной лимит 1TB? Если да, то я не использовал близко к 400 GB.

Как просмотреть мое ежедневное использование?

Если я могу edit quota, не могли бы вы сообщить мне, какой вариант мне следует редактировать?

Можете ли вы помочь мне с вышеуказанными вопросами?


person The Great    schedule 10.09.2019    source источник
comment
BQ хранит данные в столбцах и взимает плату за сканированные данные. select *, как правило, не лучшая практика, поскольку она вводит каждый столбец ... вам нужно выбрать только те столбцы, которые вам нужны. Добавление разделов к вашим данным также может помочь ограничить затраты на запросы. Что касается вашего другого вопроса, я считаю, что уровень бесплатного пользования составляет 1 ТБ запросов в месяц.   -  person rtenha    schedule 10.09.2019


Ответы (1)


Согласно официальной документации BigQuery взимает плату за запросы, используя одну метрику: количество байтов. обрабатываются (также называемые прочитанными байтами), независимо от размера вывода. Это означает, что если вы выполните подсчет (*) для таблицы размером 1 ТБ, с вас предположительно будет взиматься плата в размере 5 долларов, даже если конечный результат будет очень минимальным. Обратите внимание, что из-за внутренней оптимизации хранилища BigQuery обработанные байты могут не соответствовать фактическому размеру исходной таблицы на момент ее создания.

Если вы видите ошибку, перейдите в консоль Google, выберите IAM и admin, затем Quotas, где затем вы можете найти квоты, специфичные для службы BigQuery.

Надеюсь это поможет! Флавьен

person Flavien Bessede    schedule 12.09.2019