Tachyon: не удалось переименовать во время команды copyFromLocal

Я использую Apache Spark для создания приложения. Чтобы сделать RDD доступными из других приложений, я пробую два подхода:

  1. Использование тахион
  2. Использование сервера spark-job

Я новичок в Тахионе. Я выполнил следующие задачи, указанные в запуске Tachyon в кластере

Я могу получить доступ к пользовательскому интерфейсу с master:19999 URL.

Из каталога tachyon я успешно создал каталог./bin/tachyon tfs mkdir /Test Но при попытке выполнить команду copyFromLocal я получаю следующие ошибки:

FailedToCheckpointException(message:Failed to rename hdfs://master:54310/tmp/tachyon/workers/1421840000001/8/93 to hdfs://master:54310/tmp/tachyon/data/93)

apache-spark alluxio
person Anju    schedule 21.01.2015    source источник
comment
У меня точно такая же проблема. После сбоя copyFromLocal файлы отображаются в памяти с помощью tfs ls, но они неполные, как сообщается, когда я пытаюсь tfs cat один из файлов: Файл /data/test.txt не завершен.   -  person taranaki    schedule 09.07.2015

Ответы (1)


arrow_upward
0
arrow_downward

Скорее всего, вы используете tachyon и spark-jobserver под разными пользователями и используете HDFS в качестве вашей underFS.

Посетите https://tachyon.atlassian.net/browse/TACHYON-1339 и соответствующий патч.

Самый простой выход — запустить tachyon и ваш сервер заданий Spark от имени одного и того же пользователя.

(Немного) более сложный способ — портировать патч и перекомпилировать spark, а затем sjs с исправленным клиентом.

person Rares Mirica    schedule 11.12.2015