Cli запроса улья работает, то же самое через оттенок не работает

У меня странная проблема с оттенком (версия 3.10).

У меня очень простой запрос улья:

drop table if exists csv_dump;
create table csv_dump row format delimited fields terminated by ',' lines terminated by '\n' location '/user/oozie/export' as select * from sample;
  • выполнение этого запроса в редакторе улья работает
  • выполнение этого запроса в качестве командной строки рабочего процесса oozie работает
  • запуск этой командной строки запроса с помощью beeline работает
  • выполнение этого запроса через рабочий процесс oozie из улья не выполняется

Неудача в этом случае означает:

  • drop и create не запускаются или, по крайней мере, не имеют никакого эффекта
  • будет выполнено действие подготовки в рабочем процессе
  • шаг hive2 в рабочем процессе по-прежнему говорит об успешном
  • будет выполнен следующий шаг.

Теперь я попробовал с разными пользователями (oozie и ambari, адаптируя местоположение в зависимости от ситуации), с точно такими же удачными / неудачными случаями.

Я не могу найти никаких соответствующих журналов, кроме, может быть, от оттенка:

------------------------

Beeline command arguments :
             -u
             jdbc:hive2://ip-10-0-0-139.eu-west-1.compute.internal:10000/default
             -n
             oozie
             -p
             DUMMY
             -d
             org.apache.hive.jdbc.HiveDriver
             -f
             s.q
             -a
             delegationToken
             --hiveconf
             mapreduce.job.tags=oozie-e686d7aaef4a29c020059e150d36db98

Fetching child yarn jobs
tag id : oozie-e686d7aaef4a29c020059e150d36db98
Child yarn jobs are found - 
=================================================================

>>> Invoking Beeline command line now >>>

0: jdbc:hive2://ip-10-0-0-139.eu-west-1.compu> drop table if exists csv_dump; cr 
eate table csv_dump0 row format delimited fields terminated by ',' lines termina 
ted by '\n' location '/user/ambari/export' as select * from sample;

<<< Invocation of Beeline command completed <<<

 Hadoop Job IDs executed by Beeline: 


<<< Invocation of Main class completed <<<


Oozie Launcher, capturing output data:
=======================
#
#Thu Jul 07 13:12:39 UTC 2016
hadoopJobs=


=======================

Oozie Launcher, uploading action data to HDFS sequence file: hdfs://ip-10-0-0-139.eu-west-1.compute.internal:8020/user/oozie/oozie-oozi/0000011-160707062514560-oozie-oozi-W/hive2-f2c9--hive2/action-data.seq

Oozie Launcher ends

Там, где я вижу, что beeline запущен, но я не вижу выделенного маппера, поскольку я делаю командную строку.

Кто-нибудь знает, что может пойти не так?

Спасибо, Гийом


person Guillaume    schedule 07.07.2016    source источник
comment
Это stdout, который вы предоставили здесь. Вы проверяли stderr журналы. Я предполагаю, что информация о задании MR / журналы попадает в раздел stderr.   -  person YoungHobbit    schedule 07.07.2016
comment
Stderr вообще не предоставляет ничего интересного, просто подключение / подключение / закрытие подключения к URL-адресу сервера улья 2. Ничего более актуального в / var / log / something.   -  person Guillaume    schedule 08.07.2016
comment
Вы добавляли новые строки в файл сценария sql?   -  person Romain    schedule 18.07.2016
comment
@Romain действительно не было новой строки, и добавление некоторых устранило проблему. Я напишу это как ответ, а не просто комментарий, я приму это!   -  person Guillaume    schedule 19.07.2016


Ответы (1)


Как объяснил @romain в комментариях, в sql-скрипт необходимо добавить новые строки. Тогда все хорошо.

person Guillaume    schedule 16.03.2017
comment
Спасибо, @Romain! Я много дней борюсь с этой проблемой с помощью сценария, содержащего одно предложение. Я добавил новую строку в конце предложения, и это сработало. Итак ... вам нужно добавлять новые строки после каждого предложения, даже последнего предложения сценария. - person Juan Pablo Paz Grau; 25.08.2017