Поддерживает ли Hadoop 3 Mahout?

Мне было интересно, подтверждено ли, что какая-либо версия Mahout работает правильно с любой версией Hadoop 3.x. Похоже, что дистрибутивы Hadoop от Cloudera и Amazon удалили Mahout, когда они перешли с Hadoop 2 на Hadoop 3. Но я не могу найти никаких причин для исключения Mahout.

Есть ли у кого-нибудь источник или личный опыт, указывающий на то, что Mahout может работать с Hadoop 3?


hadoop hadoop3 mahout
person Jens Roderus    schedule 23.02.2021    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Версия Hadoop, рекомендуемая магистральной ветвью Mahout на git hub, — это hadoop-2.4.1.

но взгляните на этот файл докеров в ветке maser: https://github.com/apache/mahout/blob/master/docker/build/Dockerfile

он использует spark v2.3.1 в Hadoop 3.0 gettyimages/spark:2.3.1-hadoop-3.0

надеюсь, это могло помочь

person Aref Khandan    schedule 24.02.2021
comment
Я добавлю к этому, что я успешно запустил пример сценария Mahout в кластере Hadoop. Я запустил пример кластеризации Reuters из Mahout 0.13 на Hadoop 3.2.1. - person Jens Roderus; 24.02.2021