Вопросы по теме 'hiveql'
Получите sysdate -1 в Hive
Есть ли способ получить current date -1 в Hive всегда означает yesterdays date ? А в таком формате- 20120805 ?
Я могу запустить свой запрос таким образом, чтобы получить данные для yesterday's date , так как сегодня Aug 6th -
select *...
31561 просмотров
schedule
25.04.2023
Как получить доступ к последнему элементу массива?
В моей таблице кустов поле session представляет собой строку в формате, например:
ip-sessionID-userID or area-sessionID-userID
Есть 3 или 4 поля, разделенные « - », но userID всегда является последним.
я хочу выбрать userID, но как...
16309 просмотров
schedule
17.08.2022
уменьшить набор строк в Hive до другого набора строк
Я использую Hive для пакетной обработки моей пространственной базы данных. Моя таблица трассировки выглядит примерно так:
object | lat | long | timestamp
1 | X11 | X12 | T11
1 | X21 | X22 | T12
2 | X11 | X12 | T21
1...
899 просмотров
schedule
26.09.2022
Загрузка данных с локального компьютера в базу данных Hive с помощью Hue
Относительный новичок в использовании Hive и Hue.
Есть ли способ загрузить файл, сохраненный на моем ноутбуке, в таблицу базы данных в Hive с помощью Hue? Я просматривал книги и рыскал в Интернете, но не нашел ответа.
Гарри
902 просмотров
schedule
04.12.2022
HiveQL СОЮЗ ВСЕ
У меня есть таблица_А:
id var1 var2
1 a b
2 c d
Таблица_B:
id var1 var2
3 e f
4 g h
Все, что я хочу, это таблица, объединенная:
id var1 var2
1 a b
2 c d
3 e f
4 g h
Это мой .hql:...
45126 просмотров
schedule
31.08.2022
hiveQL, если операторы перегруппировываются в одну строку
Запрос :
select IF(type='view', count(*), 0), IF(type='click', count(*), 0)
from ad_events
where year=2013 and month=01 and day=18 and (hour=01 or hour=02)
group by type
Результат :
_c0 _c1
0 0 0
1 0...
23590 просмотров
schedule
01.11.2022
Извлечение массива структур в Hive
У меня есть внешняя таблица в улье
CREATE EXTERNAL TABLE FOO (
TS string,
customerId string,
products array< struct <productCategory:string, productId:string> >
)
PARTITIONED BY (ds string)
ROW FORMAT SERDE...
8140 просмотров
schedule
01.04.2023
Hive: объединение таблиц с различными сценариями
У меня вопрос по объединению таблиц в другом сценарии. Пожалуйста, найдите примеры таблиц ниже.
Емкость ожидаемой строки таблицы 3-5 должна быть повторена, поскольку в таблице 2 нет этих полей.
может ли кто-нибудь помочь получить ожидаемую...
1319 просмотров
schedule
12.03.2023
Группировка строк улья в массиве этих строк
У меня есть следующая таблица:
User:String Alias:String
JohnDoe John
JohnDoe JDoe
Roger Roger
И я хотел бы сгруппировать все псевдонимы пользователя в массиве в новой таблице, которая будет выглядеть так:
User:String...
8763 просмотров
schedule
05.12.2022
Как вывести результаты запроса HiveQL в CSV?
мы хотели бы поместить результаты запроса Hive в файл CSV. Я думал, что команда должна выглядеть так:
insert overwrite directory '/home/output.csv' select books from table;
Когда я запускаю его, он говорит, что он успешно завершен, но я...
208892 просмотров
schedule
09.06.2024
Хороший способ дать аргументы для выполнения пакета Hive
Я пытаюсь выполнить файлы Hive (.hql) в пакетном режиме с некоторыми аргументами, например:
hive -hiveconf in_co_societe = 1 in_dt_jour = '2013-01-02 00:00:00.0' -f /home/hduser/Documents/P_THM_CA_RGRP_PRODUITS_JOUR.hql
и в моем сценарии у...
1147 просмотров
schedule
01.04.2023
LEFT OUTER JOIN с DATEDIFF в Hive QL
У меня есть две таблицы: назовем их INSTALLS и EXECUTES.
Таблица INSTALLS имеет структуру: user_id BIGINT, install_ts BIGINT.
Таблица EXECUTES имеет ту же структуру: user_id BIGINT, exec_ts BIGINT.
User_id очевиден, поля _ts - это временные...
3880 просмотров
schedule
18.09.2022
Ошибка при создании таблицы Hive в HDInsight из другого контейнера больших двоичных объектов: недопустимый путь
CREATE TABLE test1 (Column1 string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
LOAD DATA INPATH 'asv://[email protected]/foldername' OVERWRITE INTO TABLE test1 ;
При загрузке данных возникает следующая ошибка:...
559 просмотров
schedule
11.07.2023
Запрос HiveQL для нескольких объединений
Я новичок в HIVE. Я пытаюсь реализовать простой запрос HiveQL для соединений. Но из-за нехватки знаний о HiveQL и на удивление небольшого количества доступных в Интернете ресурсов, связанных с HiveQl, я застрял в построении простого запроса, который...
4211 просмотров
schedule
14.10.2022
как запустить запрос улья в нескольких каталогах с несколькими файлами
Я хочу запустить запрос count hive для нескольких каталогов, в которых есть несколько файлов. Путь к файлам выглядит так
'2011/01/01/file20110101_01.csv
2011/01/01/file20110101_02.csv
2011/01/02/file20110201_01.csv...
1626 просмотров
schedule
30.06.2022
Не удалось вставить в HDFS из таблицы HIVE с помощью INSERT OVERWRITE DIRECTORY
Моя основная потребность - загрузить файл в HDFS из HIVE с помощью утилиты INSERT OVERWRITE. В этом запросе я пытаюсь объединить 3 таблицы улья. Ниже приводится запрос:
select * FROM
AGG_CUSTOMER_EXPSR_DRV_HIVE DRV
LEFT OUTER JOIN...
1079 просмотров
schedule
12.06.2022
Сопоставьте раздел улья с местоположением
У меня есть внешняя таблица улья с разделением по годам, месяцам, дням и часам.
PARTITIONED BY (
`year` int,
`month` int,
`day` int,
`hour` int)
ROW FORMAT SERDE
'org.openx.data.jsonserde.JsonSerDe'
STORED AS INPUTFORMAT...
430 просмотров
schedule
29.05.2022
Существует ли в Hive эквивалент SQL «LIKE ANY (SUBQUERY)»
Хотя Hive не поддерживает многозначные запросы LIKE, которые поддерживаются в SQL: ex.
SELECT * FROM user_table WHERE first_name LIKE ANY ( 'root~%' , 'user~%' );
Мы можем преобразовать его в эквивалентные запросы HIVE следующим образом:...
7494 просмотров
schedule
16.07.2022
Группа Союза Улей по ошибке
В следующем запросе я пытаюсь подсчитать отдельные и общие случаи появления столбца «первичный» и суммировать это для каждого столбца.
У меня есть две исходные таблицы, которые содержат аналогичную информацию. Я хочу объединить их, чтобы собрать...
15403 просмотров
schedule
03.06.2024
Кто обращался к таблице Hive или каталогу HDFS
Есть ли способ выяснить, какой пользователь выполнил запрос «выбрать» к таблице Hive? В какое время он был запущен?
В более общем смысле, какой пользователь получил доступ к каталогу HDFS?
1415 просмотров
schedule
19.12.2023
