Вопросы по теме 'webhdfs'
Возможна ли зашифрованная безопасная связь с WebHDFS через HTTPS?
Я использую среду Cloudera Hadoop.
Я был знаком с WebHDFS за последние несколько дней. Я использую его для выполнения различных операций HDFS через REST API.
Но теперь мне нужно защитить связь с WebHDFS, т.е. с помощью SSL/HTTPS.
Это...
1459 просмотров
schedule
30.05.2023
Какую библиотеку nodejs следует использовать для записи в HDFS?
У меня есть приложение nodejs, и я хочу записать данные в файловую систему Hadoop HDFS. Я видел две основные библиотеки nodejs, которые могут это сделать: node-hdfs и node-webhdfs. Кто-то пробовал? Любые подсказки? Какой из них я должен...
6448 просмотров
schedule
17.01.2023
Скопируйте данные с локального диска в HDFS в федерации HDFS.
Я использую два хоста (hadoop-coc-1 и hadoop-coc-2), чтобы попытаться настроить на них федерацию HDFS. Поэтому я настроил $ cat etc/hadoop/hdfs-site.xml на обоих хостах (hadoop-coc-1 и hadoop-coc-2).
Обе HDFS работают правильно с WebHDFS....
474 просмотров
schedule
12.07.2022
Использование Kerberized webhdfs/hdfs с JAVA API
У меня есть кластер Hadoop с включенным Kerberos. Я хочу поместить файлы в HDFS, используя компьютер с Windows/Linux за пределами кластера.
Команда администраторов Hadoop предоставила мне имя пользователя для доступа к файлу hadoop и keytab, как...
2125 просмотров
schedule
26.06.2023
Проверка контрольной суммы для файлов в HDFS
Я использую webhdfs для загрузки данных из локальной файловой системы в HDFS. Теперь я хочу обеспечить целостность файлов, загруженных в HDFS.
Как я могу убедиться, что передаваемые файлы не повреждены/изменены и т.д.?
Я использовал приведенную...
5242 просмотров
schedule
10.06.2023
Hdfs поставил VS webhdfs
Я загружаю файл размером 28 ГБ в hdfs hadoop с помощью webhdfs, и загрузка занимает ~ 25 минут.
Я попытался загрузить тот же файл с помощью hdfs put, и это заняло ~ 6 минут. Почему такая большая разница в производительности?
Что рекомендуется...
15928 просмотров
schedule
27.06.2023
webhdfs не работает в песочнице HDP
Я получаю сообщение об ошибке при выполнении следующей команды в песочнице Hortonworks HDP 2.3_1:
curl -i "http://localhost:50075/webhdfs/v1/queryresult/part-m-00000?op=OPEN
HTTP/1.1 400 Bad Request
Content-Type: application/json; charset=utf-8...
1723 просмотров
schedule
28.03.2023
Не удается получить доступ с хоста к cloudera WEBHDFS (гость)
Я читал о Web Hdfs во всех этих ссылках.
link1 ссылка2 ссылка3
проверка телнетом - порт ОТКРЫТ
сделал необходимые настройки в cloudera (виртуальный ящик), чтобы webhdfs позволял тестировать непосредственно в cloudera:...
311 просмотров
schedule
30.12.2022
ConnectionError(MaxRetryError("Максимальное количество попыток HTTPConnectionPool превышено с использованием pywebhdfs
Привет, я использую pywebhdfs python lib. я подключаю EMR, звоня и пытаясь создать файл на HDFS. Я получаю исключение ниже, которое кажется неуместным по сравнению с тем, что я выполняю, поскольку здесь я не достигаю предела подключения. это из-за...
5491 просмотров
schedule
13.05.2023
Как получить доступ к данным Azure с помощью API webhdfs
Мы только начинаем оценивать службу datalake в Azure. Мы создали озеро, и через портал мы можем видеть два общедоступных URL-адреса службы. (Одна - схема https: //, другая - схема adl: //)
В документации datalake указано, что действительно...
2427 просмотров
schedule
24.01.2024
Скопируйте файл в среду HDFS Hadoop с помощью C#
Как подключиться к HDFS (на платформе данных Hortonworks/EC2) и скопировать файл из локальной системы с помощью приложения .net? Используется ли WebHDFS правильный подход к подключению к HDFS через приложение .net? указанная ниже ссылка[...
2195 просмотров
schedule
05.01.2023
Как сделать резервную копию namenode
У меня есть кластер hadoop с 6 узлами данных и 1 именным узлом. Но у меня нет резервного namenode или узла журнала. Я знаю, что это не очень хорошая практика, но из-за некоторых ограничений я должен пока продолжать это делать.
Может ли кто-нибудь...
2516 просмотров
schedule
26.06.2022
как приложение spark может получить доступ к данным в удаленном кластере Hadoop с помощью webhdfs?
Приложение spark может получать доступ к данным в удаленных средах Hadoop с помощью HDFS, однако некоторые кластеры Hadoop ограничивают доступ к своим данным до WebHDFS, поэтому доступ к HDFS недоступен.
Как мое приложение spark может получить...
360 просмотров
schedule
26.11.2022
RemoteException при создании файла с помощью WebHDFS REST API
Мне не удалось создать файл с помощью API-интерфейса Hadoop WebHDFS REST.
Следуя документам, я делаю это.
curl -i -X PUT "http://hadoop-primarynamenode:50070/webhdfs/v1/tmp/test1234?op=CREATE&overwrite=false"
Ответ:
HTTP/1.1 307...
1036 просмотров
schedule
02.01.2023
Поддерживает ли webhdfs высокую доступность при аварийном переключении?
Я использую Hadoop 2.7.1 на Centos 7
когда высокая доступность включена в кластер Hadoop
и активный узел имени выходит из строя, он становится резервным
но webhdfs не поддерживает высокую доступность?
какой должна быть альтернатива для...
1537 просмотров
schedule
28.05.2022
В чем разница между Hadoop webhdfs и Azure webhdfs
Hadoop webhdfs: https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/WebHDFS.html
Azure webhdfs: https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview
399 просмотров
schedule
01.06.2022
Потоковая передача данных в HDFS по протоколу webHDFS
Нам нравится записывать потоковые данные в HDFS с использованием протокола Webhdfs (https). Это возможно ?
247 просмотров
schedule
31.12.2022
Есть ли способ проверить, существует ли файл с помощью REST API webhdfs?
Есть ли способ проверить, существует ли какой-либо файл с таким же именем на пути HDFS через REST API webhdfs?
Мой образец URL:...
774 просмотров
schedule
06.03.2023
WebHDFS/HttpFS в CDH через Docker
я использую быстрый запуск cloudera через Docker Toolbox (докер для дома win10). Версия CDH — 5.7.
я пытаюсь подключиться к hdfs с помощью Webhdfs/HttpFS, я не уверен, что это порт 50070 или 14000. вот список портов в CDH 5.7
1) Я на самом...
147 просмотров
schedule
23.06.2022
Как загрузить каталог в HDFS
Я работаю над проектом, в котором мне нужно загрузить каталог через REST API с машины за пределами моего кластера Hadoop в HDFS. По сути, мне нужна команда, с помощью которой я могу через терминал (или скрипт Python) отправить каталог в HDFS,...
240 просмотров
schedule
20.12.2023
