Я обновил файл /conf/slaves на главном узле Hadoop, указав имена хостов моих подчиненных узлов, но не могу запустить подчиненные устройства с главного узла. Я должен запускать ведомые устройства по отдельности, после чего мой кластер из 5 узлов...

Согласно примечаниям к выпуску Hadoop 3.x, они ввели кодирование Erasure для решения проблем с хранилищем. Erasure coding — это метод надежного хранения данных со значительной экономией места по сравнению с репликацией. Стандартные кодировки,...

Я пытаюсь установить Hadoop (3.1.2) в Windows-10, но узел данных и диспетчер узлов выключаются. Я попытался загрузить и поместить файлы winutils.exe и hadoop.dll в каталог bin. Я также пробовал изменять права доступа к файлам и работать от имени...

Я создаю небольшой кластер Hadoop, состоящий из 2 узлов: 1 главный + 1 рабочий. Я использую последнюю версию Hadoop (3.2), и все выполняется пользователем root . В процессе установки мне удалось hdfs namenode -format . Следующим шагом будет...

Я работаю над кластером Hadoop (HDP) с Hadoop 3. Также установлены Spark и Hive. Поскольку каталоги Spark и Hive разделены, иногда бывает немного запутанно знать, как и где сохранять данные в приложении Spark. Я знаю, что для свойства...

Я пытаюсь запустить задание mapreduce, но получаю сообщение об ошибке для Hadoop-3.1.3. hadoop jar WordCount.jar WordcountDemo.WordCount /mapwork/Mapwork /r_out Ошибка 2020-04-04 19:59:11,379 INFO client.RMProxy: Connecting to...

Я пытаюсь установить Hadoop v3.1.3 в псевдораспределенном режиме в своей среде Ubuntu 18.04. После дословного следования документации мой веб-интерфейс по-прежнему не работает, т.е. localhost:9870 не дает результата. Файлы журнала создаются в...

Мне было интересно, подтверждено ли, что какая-либо версия Mahout работает правильно с любой версией Hadoop 3.x. Похоже, что дистрибутивы Hadoop от Cloudera и Amazon удалили Mahout, когда они перешли с Hadoop 2 на Hadoop 3. Но я не могу найти никаких...

У меня очень странные ошибки зависимости: У меня есть этот простой код scala: val spark: SparkSession = SparkSession.builder() .master("local[1]") .appName("HDFStoAWSExample") .getOrCreate() spark.sparkContext...