Потоковая передача Hive не работает

Я пытаюсь включить потоковую передачу куста, следуя инструкциям
https://cwiki.apache.org/confluence/display/Hive/Streaming+Data+Ingest#StreamingDataIngest-StreamingRequirements

Я изменил все свойства конфигурации, чтобы включить потоковую передачу куста, но служба хранилища метаданных куста работает с ошибкой ниже:

18/02/09 12:22:51 ERROR compactor.Initiator: Caught an exception in the main loop of compactor initiator, exiting MetaException(message:Unable to connect to transaction database org.postgresql.util.PSQLException: ERROR: relation "compaction_queue" does not exist

Примечание. Я использую PostgreSQL для хранилища метаданных JDBC и куста версии 2.0.1.

Помогите мне решить эту ошибку и начать работать с Hive Streaming.


postgresql hadoop hive hive-metastore
person Kumar    schedule 09.02.2018    source источник
comment
Я тоже сталкиваюсь с этой проблемой. Основываясь на приведенной ниже задаче, Hive пытается обновить некоторые значения в таблице compaction_queue. Но Hive не создает его автоматически, когда включены свойства, связанные с потоковой передачей. issues.apache.org/jira/browse/HIVE-11444   -  person Dinesh Kumar P    schedule 09.02.2018

Ответы (1)


arrow_upward
1
arrow_downward

Определение этой таблицы (и других, связанных с таблицами ACID/загрузкой потоковой передачи) можно найти в https://github.com/apache/hive/blob/branch-2.0/metastore/scripts/upgrade/postgres./hive-txn-schema-2.0.0.postgres.sql. Все это необходимо для правильной работы потоковой передачи.

person Eugene    schedule 09.02.2018
comment
Спасибо. Но я не могу найти схему для отношения compaction_queue. - person Kumar; 12.02.2018
comment
Я исправил ссылку выше - вы должны увидеть ее сейчас. - person Eugene; 12.02.2018
comment
Необходимые таблицы должны создаваться автоматически, верно? Но почему он показывает ошибку, поскольку таблицы не существует. - person Kumar; 13.02.2018