Вопросы по теме 'hive-partitions'

Ошибка выполнения Hive: невозможно десериализовать ключ ввода сокращения
Я пытаюсь запустить вставку в таблицу разделов с участием группы запрос 'set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; set hive.execution.engine=tez; INSERT OVERWRITE TABLE table1 PARTITION (date)...
875 просмотров
schedule 03.03.2023

Как удалить сразу все разделы в улье?
Улей версии 1.1 У меня есть внешняя таблица улья, как показано ниже: CREATE EXTERNAL TABLE `schedule_events`( `schedule_id` string COMMENT 'from deserializer', `service_key` string COMMENT 'from deserializer', `event_start_date_time`...
33477 просмотров
schedule 08.08.2023

Hive - оператор Create Table с командами 'select query' и 'partition by'
Я хочу создать в Hive многораздельную таблицу. Я знаю, что сначала нужно создать структуру таблицы с помощью команды «Создать таблицу ... Разделить по», а затем вставить данные в таблицу с помощью команды «Вставить в таблицу». Но я пытаюсь...
2934 просмотров

Улей: ошибка при выполнении выбирает и отбрасывает запросы улья разделов в одно и то же время
Я получаю сообщение об ошибке при выполнении двух запросов одновременно. Вот сценарии. Я использую AWS EMR, и ниже приведена схема таблицы моего куста. CREATE TABLE India (OFFICE_NAME STRING, OFFICE_STATUS STRING, PINCODE INT,...
289 просмотров

Каковы допустимые типы данных столбца раздела в улье?
Я почти уверен, что сложные типы, такие как STRUCT, не могут быть типом столбца раздела. Но я не уверен, что все примитивные типы допустимы или нет. Я прочитал много документации, но ничего не нашел.
496 просмотров

Добавление разделов во внешнюю таблицу в улье занимает много времени
Я хотел бы знать, как лучше всего добавить разделы во внешнюю таблицу. У меня есть внешняя таблица на S3 в улье с разделом как vehicle = / date = / hr = Теперь новый автомобиль можно добавить в любое время суток, и будут автомобили, которые не...
100 просмотров
schedule 27.01.2023

Исправляет ли msck создание статистики таблицы триггеров
я хотел бы знать, будет ли запуск msck repair <table> на таблице генерировать статистику таблицы для CBO, когда: hive.cbo.enable=true hive.stats.autogather=true или мне нужно использовать analyze <tablename> compute...
75 просмотров

Количество элементов улья в столбце максимального раздела
Я борюсь с запросом, который может показаться простым, но который доставляет мне много проблем. SELECT COUNT(*) FROM mytable where partition_column IN (SELECT MAX(partition_column) FROM mytable ) mytable - это внешняя таблица 2To Hive,...
136 просмотров
schedule 28.07.2023

в таблицу Hive — неразделенная таблица в многораздельную таблицу с несколькими разделами — невозможно вставить в целевую таблицу из-за номера/типа столбца
Когда я попытался вставить в разделенную таблицу, я получаю следующую ошибку: SemanticException [Ошибка 10044]: Строка 1:23 Невозможно вставить в целевую таблицу, потому что номера/типы столбцов разные: Таблица insclause-0 имеет 6 столбцов, а 3...
136 просмотров
schedule 13.08.2022

Hive Query выполняет полное сканирование таблицы при фильтрации разделов по результатам подзапроса / объединений.
Почему query1 выполняется дольше по сравнению с Query2. Подробная информация о таблице источников улья Columns - 166 Partitions columns - 2 columns (all are int datatypes) Number of Partitions - 3211 partitions Total Records - 19374461064...
15 просмотров
schedule 27.12.2022