Переместить файл из одного каталога HDFS в другой каталог HDFS с помощью OOZIE?

Я пытаюсь скопировать файл из одного каталога HDFS в другой каталог в HDFS с помощью сценария оболочки как части oozie Job, но я не могу скопировать его через oozie.

Можем ли мы скопировать файл из одного каталога HDFS в другой каталог HDFS, используя oozie.

when i am running the oozie job, i am not any getting error.

it is showing status SUCCEEDED but file is not copying to destination directory.

oozie Файлы ниже.

тест.ш

#!/bin/bash
echo "listing files in the current directory, $PWD"
sudo hadoop fs -cp /user/cloudera/RAVIOOZIE/input/*  /user/cloudera/RAVIOOZIE/output/
ls  # list files

мой рабочий процесс.xml

<workflow-app name="RAMA" xmlns="uri:oozie:workflow:0.5">
<start to="shell-381c"/>
<kill name="Kill">
    <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<action name="shell-381c">
    <shell xmlns="uri:oozie:shell-action:0.1">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <exec>/user/cloudera/test.sh</exec>
        <file>/user/cloudera/test.sh#test.sh</file>
          <capture-output/>
    </shell>
    <ok to="End"/>
    <error to="Kill"/>
</action>
<end name="End"/>

and my job.properties

oozie.use.system.libpath=True
security_enabled=False
dryrun=True
jobTracker=localhost:8032
nameNode=hdfs://quickstart.cloudera:8020
oozie.wf.application.path=${nameNode}/user/cloudera/test/

пожалуйста, помогите в этом. почему файл не копируется в мой директор назначения.

пожалуйста, дайте мне знать, есть ли что-то, что я пропустил.


shell hadoop cloudera oozie oozie-coordinator
person Sai    schedule 04.08.2016    source источник
comment
ваш workflow.xml и сценарий оболочки выглядят нормально. Возможно, вам придется тщательно искать ошибку - даже если она говорит об успехе. Распечатывается ли ваш оператор эха в сценарии оболочки?   -  person sorabh    schedule 04.08.2016
comment
Я могу видеть операторы эха в jobhistory/logs, но там не отображается никаких ошибок. Он отображается в журнале Oozie Launcher, фиксируя выходные данные: ==================== === привет, клаудера. Я хочу перечислить некоторые ваши файлы со списком файлов в текущем каталоге, /var/lib/hadoop-yarn/cache/yarn/nm-local-dir/usercache/cloudera/appcache/application_1470284226059_0022/container_1470284226059_00ror.i.e   -  person Sai    schedule 04.08.2016
comment
Ваш вопрос помечен как Переместить файл, но ваше сообщение на самом деле касается копирования файлов. Если вы действительно хотите переместить эти файлы, вам следует попробовать собственное действие HDFS Oozie oozie.apache.org/docs/4.2.0/   -  person Samson Scharfrichter    schedule 05.08.2016

Ответы (1)


arrow_upward
0
arrow_downward

Как упоминалось в комментариях @Samson:

Если вы хотите выполнять действия Hadoop с помощью oozie, вам следует использовать действие hdfs, а не действие оболочки для этого.

Я не уверен, почему вы не получаете сообщение об ошибке, но вот некоторые предположения о том, что может произойти:

Вы даете oozie задание запустить действие оболочки, оно успешно запускает действие оболочки и сообщает об успехе. Затем действие оболочки завершается ошибкой, но это не проблема слизи.

person Dennis Jaheruddin    schedule 10.08.2016