Каскадирование для нетерпеливого замораживания примера TFIDF

Я пытаюсь работать с Cascading для создания и выполнения сложных рабочих процессов обработки данных в локальном кластере Hadoop.

Я хочу создать вектор TFIDF, чтобы применить к нему алгоритмы машинного обучения, такие как NaiveBayes, с помощью среды Apache Spark.

Проблема в том, что после того, как я создаю банку и запускаю ее с помощью следующих команд, программа зависает. Вот файл журнала.

Исходники можно найти здесь. Соответствующий исходный код находится в части 6.

Спасибо!


hadoop cascading
person eliasah    schedule 20.06.2014    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Я нашел проблему. Узлы кластера были неработоспособны, но журнал этого не показывает, и каскадирование зависает, поскольку его задача НЕ НАЗНАЧЕНА.

введите здесь описание изображения

Поэтому, чтобы решить проблему, вам нужно исправить состояние узлов, в моем случае мне просто нужно было исправить каталог контейнеров hadoop-yarn, а также его локальный каталог namenode.

Вы можете столкнуться с другими ошибками, поэтому я предлагаю вам проверить файлы журнала Hadoop и администратора WebUI для узлов Hadoop.

person eliasah    schedule 24.06.2014