Потоковая передача данных в надмножестве Apache от BQ?

Я новичок в надмножестве и хотел узнать, есть ли способ выполнить потоковую передачу данных в большом запросе с использованием надмножества apache? В настоящее время я настроил базу данных в надмножестве apache с большим запросом, но когда я обновляю данные таблицы с помощью команд SQL в bigquery, это не отражается в надмножестве. Есть ли способ получить потоковую передачу данных в суперсет?


person Shivam Sahil    schedule 22.04.2020    source источник


Ответы (1)


Я просмотрел документацию Apache Superset и не нашел ничего, связанного с «потоковой передачей данных». из источника, как я думаю, в этом сценарии происходит то, что у вас есть панель управления, которая использует данные из таблицы, которая есть в BigQuery, и после добавления новой информации в таблицу вы ожидаете, что это изменение будет отражено на панели мониторинга автоматически.

Основываясь на этом, моя теория заключается в том, что Superset сохраняет результат вашего запроса в памяти или может использовать BigQuery кэшированные результаты, что может не позволить панели инструментов автоматически обновлять данные и видеть сделанные изменения. Я предлагаю либо снова запустить запрос к вашей таблице. чтобы попытаться получить самые свежие данные. С другой стороны, если Superset использует кешированные результаты, вам придется взглянуть на конфигурацию, используемую для Superset для BigQuery, чтобы найти способ отключить ее.

person S. Tyr    schedule 06.05.2020