Я использую кластер Hadoop с 9 узлами. Я хотел бы знать, какова базовая конфигурация узла данных в кластере Hadoop.
Я использую следующую конфигурацию для Namenode и Datanode.
RAM = 4GB
Cores = 4
Disk = 8 ( Total 16GB storage space)
Запуск пробных заданий сортировки и подсчета слов для проверки производительности сети Hadoop.
Правильно ли выбрана конфигурация?
С уважением,
Абдул Наваз
Теоретически вы можете использовать любую желаемую конфигурацию, если она настроена правильно (чтобы Hadoop знал возможности сервера и т. д.).
На практике у вас должно быть не менее 4 ГБ ОЗУ на сервер (согласно моему опыту). Количество ядер влияет на производительность, и у вас должно быть достаточно свободного места на диске для работы сервера (укажите количество места, зарезервированное для вещей, не связанных с HDFS (например, для работы сервера), с настройками dfs.datanode.du.reserved в hdfs-site.xml).
Я не уверен, сколько свободного места у вас должно быть для нормальной работы Hadoop — я думаю, это зависит от вашей работы. 16гб это не очень много в любом случае.
Вообще говоря, ваша установка должна быть в порядке, если она настроена правильно.
