Вопросы по теме 'impala'
Как Impala обеспечивает более быстрый ответ на запрос по сравнению с Hive
Недавно я начал изучать запросы больших наборов данных CSV, лежащих в HDFS, с помощью Hive и Impala. Как я и ожидал, я получаю лучшее время отклика с Impala по сравнению с Hive для запросов, которые я использовал до сих пор.
Мне интересно, есть ли...
34821 просмотров
schedule
07.10.2022
Внешняя таблица Impala со значениями, разделенными табуляцией, и именами полей
У меня есть некоторые данные в HDFS, которые я хотел бы создать во внешней таблице и запросить через Impala. Данные разделены табуляцией, но также содержат имя поля. Пример данных:
state:IL city:chicago population:2714856
state:NY...
6830 просмотров
schedule
25.04.2023
Импала на Hadoop 1.0.4
Я пытаюсь работать над impala в своей Linux-системе. У меня не облачный дистрибутив. Я установил Hadoop , Hive , HBase и другие компоненты по отдельности.
Вот версии
Hadoop - 1.0.4
HBase - 0.94.8
Hive - 0.9.0
Impala - 1.2.3
Я...
110 просмотров
schedule
19.02.2024
нет таблиц, загруженных в улей или импалу
Я использую CDH5 на Centos 6.5, когда я перехожу к редакторам запросов> Hive или Impala, раздел таблицы слева находится там с ожидающим счетчиком. Доступны таблицы, так как я могу запросить их из улья, и он никогда не загружает таблицы, может ли...
344 просмотров
schedule
17.11.2023
Hadoop Impala 1.3.1 и ошибка открытого сокета
Мы только что обновили Impala с 1.2.4 до 1.3.1 и CDH с 4.6 до 4.7 и начали получать проблемы с записью (чтение в порядке):
При попытке создать таблицу - выдает ошибку сокета:
создать таблицу test_5 (x int, y string); Запрос: создать таблицу...
702 просмотров
schedule
27.04.2023
Запрос нескольких столбцов из объекта json, хранящегося в hbase
У нас есть данные json, хранящиеся в одном семействе столбцов, и у них есть несколько пар имя/значение. Мы запрашиваем эти данные с различными комбинациями имя/значение, и эти запросы не особенно склоняются к каким-либо парам имя/значение (что...
653 просмотров
schedule
16.10.2022
Конфигурации памяти для Cloudera Impala
Я использую Impala и знаю, что impala выполняет обработку в памяти. Я искал список параметров конфигурации Impala, но не нашел подробной документации по этому вопросу, особенно в отношении памяти/кучи. Есть ли в Импале такие настройки? Или это...
2591 просмотров
schedule
13.09.2022
Ошибка интеграции данных Hive в Pentaho
Я использую Bigdata Lite3.0, Pentaho 5.1, CDH5.0. Я хочу подключить таблицы Hive с помощью Pentaho.
При попытке подключения я получаю следующие ошибки.
Error connecting to database [Hive] :...
4276 просмотров
schedule
30.08.2022
Вставка в файл Parquet создает файлы размером 512 МБ. Как создать файл размером 1 ГБ?
Я тестирую формат файла Parquet и вставляю данные в файл Parquet с помощью внешней таблицы Impala.
Ниже приведен набор параметров, которые могут повлиять на размер файла Parquet:
NUM_NODES: 1
PARQUET_COMPRESSION_CODEC: none
PARQUET_FILE_SIZE:...
893 просмотров
schedule
05.10.2022
Соединение Impala JDBC не закрывается должным образом в Java MultithreadCode
У меня есть многопоточный код Java, который много раз выполняет чтение расчетов из Impala с JDBC. Моя проблема в том, что в моем кластере, который насчитывает 6 узлов, соединение не закрыто кодом, хотя я вставил оператор close(). Таким образом,...
248 просмотров
schedule
04.06.2023
Вставить данные в выбранные столбцы в HIVE из другой таблицы
У меня есть 2 таблицы улья, одна с большим количеством столбцов и данных, другая с некоторыми совпадающими столбцами, которые не совпадают.
Я хочу иметь возможность вставлять данные из первой таблицы и указывать столбцы для их вставки, например:...
11178 просмотров
schedule
24.07.2023
Тест производительности Cloudera Impala — пустой кеш
Я пытаюсь выполнить тест производительности в кластере Cloudera Hadoop. Однако, поскольку Impala использует кеш для хранения предыдущих запросов, как я могу очистить кеш?
Использует ли Impala кэширование? Impala не кэширует данные, но...
1943 просмотров
schedule
07.04.2022
InvalidProtocolBufferException: при подключении Impala к Hadoop 2.x.x
Я установил CDH Hadoop hadoop-2.5.0-cdh5.3.2 и impala 2.1 из http://archive.cloudera.com/impala/ubuntu/precise/amd64/impala/pool/contrib/i/impala./ в 64-битной версии Ubuntu 12.04.
Я настроил и хауп, и импалу.
Я хочу использовать impala для...
379 просмотров
schedule
03.06.2022
Проблемы с разрешениями папки таблиц при использовании Hive и Impala
Мы используем последние версии Hive, а также Impala. Impala аутентифицируется с помощью LDAP, а авторизация выполняется с помощью Sentry. Доступ к улью через Sentry пока не разрешен. Мы создаем таблицы из Impala, в то время как / user / hive /...
3377 просмотров
schedule
23.12.2023
Преобразование строки YYYYMMDD в дату в Impala
Я использую SQL в Impala для написания этого запроса. Я пытаюсь преобразовать строку даты, хранящуюся в формате ГГГГММДД, в формат даты для выполнения такого запроса:
SELECT datadate,
session_info
FROM database
WHERE datadate >= NOW()...
44564 просмотров
schedule
08.10.2022
Как настроить Cloudera Search для работы с Impala?
Это короткое видео продолжительностью 2:37 минуты показывает, что это можно сделать. https://www.youtube.com/watch?v=BRHTgHfqzJg
Как? Я понятия не имею. Много искал в Интернете, включая документацию Cloudera.
На самом деле, в следующем...
76 просмотров
schedule
27.08.2023
Сравнение меток времени в миллисекундах в HDFS
У меня есть 2 столбца временных меток, хранящихся в HDFS, к которым я могу получить доступ через Impala, hive и т. д.
Временные метки, которые мне нужно сравнить, могут выглядеть так:
2014-04-08 00:23:21.687000000
2014-04-08...
1912 просмотров
schedule
09.05.2023
Impala null management: NULL DEFINED AS не работает
У меня проблема с нулевыми значениями и Impala. Я создал такую таблицу:
create table null_test (
id int,
val varchar(50)
)
row format delimited fields terminated by ','
null defined as 'null'
stored as textfile
location...
2149 просмотров
schedule
11.04.2023
Как запросить метаданные таблицы в Cloudera impala
Можно ли запрашивать метаданные таблицы в Cloudera Impala?
например, я хочу получить список таблиц, созданных после определенной даты?
ИЛИ Я хочу узнать список таблиц, созданных в формате хранения паркета.
ИЛИ я хочу знать список таблиц с...
1009 просмотров
schedule
03.10.2022
Извлечь последний элемент списка для разделенной строки
Я пытаюсь взять регулярное выражение и разделить его на заранее определенный символ, а затем извлечь окончательное значение из возвращенного списка.
Например, моя строка может иметь вид:
name
WAYNE.ROONEY.226
ROSS.BARKLEY.HELLO.113
ADAM.A122...
2778 просмотров
schedule
11.05.2024
