Вопросы по теме 'hortonworks-data-platform'
Java-API Hiveserver2
Мне удалось подключиться к hiveserver (1), созданному с помощью
hive --service hiveserver -v -p 10001
используя следующую Java:
TSocket transport = new TSocket("hive.example.com", 10001);
transport.setTimeout(999999999);...
9363 просмотров
schedule
26.01.2023
Задача Sqoop, использующая рабочий процесс oozie, заканчивается исключением отказа в подключении
Я пытаюсь выполнить задачу sqoop, используя oozie. Структура кода выглядит так
У меня есть файл job.properties в моей локальной файловой системе, который я использую для отправки задания oozie. Файл Job.properties выглядит следующим образом...
726 просмотров
schedule
11.03.2023
Сравнение Hadoop Classic и Yarn
У меня есть два кластера, на каждом из которых работает другая версия Hadoop. Я работаю над POC, и мне нужно понять, как YARN обеспечивает возможность одновременного запуска нескольких приложений, чего нельзя было сделать с помощью Classic Map Reduce...
501 просмотров
schedule
26.07.2022
Установка HDP Ambari в Ubuntu 12.04
Каковы шаги по установке HDP 2.0 через Ambari? Я попытался выполнить шаги, описанные в документации Hortonworks. Но установка не удалась.
2022 просмотров
schedule
08.03.2023
Увеличение числа редукторов выше 1 в кластере Hadoop с одним узлом вызывает выполнение последовательного редуктора
Я тестирую некоторые настройки расписания емкости на экземпляре HDP 1.3.2 с одним узлом, прежде чем отправить его в кластер. Я знаю, что количество редукторов по умолчанию равно 1 для задания MR, если вы не переопределите его, и я подумал, что могут...
674 просмотров
schedule
08.08.2022
ConnectTimeoutException при подключении к виртуальной машине Hortonworks в Eclipse для задания MapReduce?
Я пытаюсь запустить задание MapReduce в Eclipse.
Я пытаюсь подключиться к виртуальной машине Hortonworks и прочитать один из файлов в HDFS. Вот отображение файлов в HDFS:
Я использую следующий код для доступа к файлу:...
2616 просмотров
schedule
20.11.2022
ошибка hcatalog песочницы hortonwoks при создании таблицы из файла
Привет, я пытаюсь сделать учебник от hortonworks; я смог загрузить nyse.tsv.gz в оттенок песочницы и просмотреть данные, но шаг создания таблицы из этого файла с помощью HCatalog завершается с ошибкой 500 timeout. Кажется, многие пользователи...
276 просмотров
schedule
16.05.2023
Oozie hive action с kerberos на HDP-1.3.3
Я пытаюсь выполнить сценарий улья из действия улья oozie в среде с поддержкой Kerberos.
Вот мой workflow.xml
<action name="hive-to-hdfs">
<hive xmlns="uri:oozie:hive-action:0.2">...
933 просмотров
schedule
10.06.2022
HBase Java-соединение
Я хочу настроить подключение к HBase через Java, но столкнулся с проблемой. Я установил один узел HDP 2.1 через Ambari на свой CentOS 6.5. У меня есть следующий код:
public class PutExample {
public static void main(String[] args) throws...
1507 просмотров
schedule
31.10.2022
Каково максимальное количество узлов данных в кластере Hadoop?
Я использую 8-узловой кластер Hadoop, и использование памяти namenode показывает 7%. Я чувствую, что этот кластер достигнет максимальных пределов памяти namenode.
Текущий размер хранилища кластера составляет 5,6 ТБ, а размер кучи namenode — 4 ГБ....
2343 просмотров
schedule
27.06.2023
Миграция с HDP на MapR
Я немного новичок в MapR Hbase, но я работал с Hbase с HDP/Cloudera. У нас есть кластер hbase в HDP, и мы планируем перенести данные Hbase в кластер MapR Hbase.
Каким должен быть соответствующий подход, который я могу принять здесь? (Время...
154 просмотров
schedule
16.05.2023
Почему при миграции Ambari с 1.6.0 на 2.0.0 вызывается обновление местоположения Hive Metatool для перемещения местоположений в нежелательные места?
Я переношу свой кластер Hadoop HDP2.1 на HDP2.2.4. Первым шагом является миграция амбари с версии 1.6.0 на версию 2.0.0. Выполнив этот шаг, я перезапустил свои службы.
Запуск «HiveServer2» через Ambari 2.0 завершается ошибкой, тогда как sudo...
387 просмотров
schedule
11.11.2022
Где находятся настройки Hive Table/Database?
Мне нужно найти файлы конфигурации в hdfs для таблицы Hive. Я нашел данные таблицы с «отформатированным описанием»; но где хранится информация col_name или data_type?
32 просмотров
schedule
15.05.2023
Настройка сервера Ambari: ошибка конфликта в файле sudoers
Сообщение об ошибке при настройке сервера Ambari
Ошибка проверки транзакции: файл /etc/sudoers.d из пакета установки ambari-agent-2.0.0-151.x86_64 конфликтует с файлом из пакета sudo-1.8.6p7-13.el7.x86_64
Системы
Red Hat Enterprise Linux...
671 просмотров
schedule
04.08.2023
HiveServer2 генерирует множество каталогов в hdfs /tmp/hive/hive
Создаем новый кластер с Hiveserver2 (на дистрибутиве Hortonworks HDP2.2). Через некоторое время у нас есть более 1048576 каталогов в /tmp/hive/hive на hdfs, потому что сервер hive создает его в этом месте.
У кого-то есть похожая проблема? Логи...
6804 просмотров
schedule
17.03.2023
Является ли виртуальная машина HortonWorks Sandbox предпочтительнее в производственной среде?
HortonWorks HDP можно реализовать двумя способами:
Песочница (ВМ)
Ручная установка.
Я хотел бы понять, предпочтительнее ли HDP SandBox или ручная установка в производственной среде. Выбор мог быть сделан по очевидным причинам вроде...
557 просмотров
schedule
27.12.2022
yum удалить проблемы во время чистой деинсталляции HDP
Как упоминалось в нескольких ссылках, таких как эта и это , я попытка очистить деинсталляцию Hortonworks 2.2 Data Platform.
Будучи наивным в Linux, я сталкиваюсь с проблемами уже на первом этапе — удаление установленных пакетов HDP....
941 просмотров
schedule
01.01.2023
Передача учетных данных HBase в oozie Java Action
Мне нужно запланировать действие oozie Java, которое взаимодействует с защищенным hbase, поэтому мне нужно предоставить учетные данные hbase для действия Java. Я использую защищенную среду hortonworks 2.2, мой рабочий процесс XML выглядит следующим...
2311 просмотров
schedule
04.07.2023
Создание индекса Phoenix в Hortonworks Sandbox не работает
Я следовал документации и создал в Phoenix 4.2:
CREATE VIEW "t20" ( pk VARCHAR PRIMARY KEY, "f2"."name" VARCHAR );
Затем создал индекс:
create index idx on "t20" ("name");
(Цитирование или нецитирование дает тот же результат)
И...
439 просмотров
schedule
16.06.2022
Пользовательский API отдыха на основе Spring со шлюзом Apache Knox
Я пытаюсь сделать POC, в котором мне нужно защитить свой кластер через Apache Knox, а мой доморощенный API для отдыха будет сидеть за Knox. Как должна работать аутентификация пользователей с Knox Ranger и как я буду защищать доступ к своим данным?
891 просмотров
schedule
15.02.2023
