У меня странная проблема с оттенком (версия 3.10).
У меня очень простой запрос улья:
drop table if exists csv_dump;
create table csv_dump row format delimited fields terminated by ',' lines terminated by '\n' location '/user/oozie/export' as select * from sample;
- выполнение этого запроса в редакторе улья работает
- выполнение этого запроса в качестве командной строки рабочего процесса oozie работает
- запуск этой командной строки запроса с помощью beeline работает
- выполнение этого запроса через рабочий процесс oozie из улья не выполняется
Неудача в этом случае означает:
- drop и create не запускаются или, по крайней мере, не имеют никакого эффекта
- будет выполнено действие подготовки в рабочем процессе
- шаг hive2 в рабочем процессе по-прежнему говорит об успешном
- будет выполнен следующий шаг.
Теперь я попробовал с разными пользователями (oozie и ambari, адаптируя местоположение в зависимости от ситуации), с точно такими же удачными / неудачными случаями.
Я не могу найти никаких соответствующих журналов, кроме, может быть, от оттенка:
------------------------
Beeline command arguments :
-u
jdbc:hive2://ip-10-0-0-139.eu-west-1.compute.internal:10000/default
-n
oozie
-p
DUMMY
-d
org.apache.hive.jdbc.HiveDriver
-f
s.q
-a
delegationToken
--hiveconf
mapreduce.job.tags=oozie-e686d7aaef4a29c020059e150d36db98
Fetching child yarn jobs
tag id : oozie-e686d7aaef4a29c020059e150d36db98
Child yarn jobs are found -
=================================================================
>>> Invoking Beeline command line now >>>
0: jdbc:hive2://ip-10-0-0-139.eu-west-1.compu> drop table if exists csv_dump; cr
eate table csv_dump0 row format delimited fields terminated by ',' lines termina
ted by '\n' location '/user/ambari/export' as select * from sample;
<<< Invocation of Beeline command completed <<<
Hadoop Job IDs executed by Beeline:
<<< Invocation of Main class completed <<<
Oozie Launcher, capturing output data:
=======================
#
#Thu Jul 07 13:12:39 UTC 2016
hadoopJobs=
=======================
Oozie Launcher, uploading action data to HDFS sequence file: hdfs://ip-10-0-0-139.eu-west-1.compute.internal:8020/user/oozie/oozie-oozi/0000011-160707062514560-oozie-oozi-W/hive2-f2c9--hive2/action-data.seq
Oozie Launcher ends
Там, где я вижу, что beeline запущен, но я не вижу выделенного маппера, поскольку я делаю командную строку.
Кто-нибудь знает, что может пойти не так?
Спасибо, Гийом
stdout
, который вы предоставили здесь. Вы проверялиstderr
журналы. Я предполагаю, что информация о задании MR / журналы попадает в разделstderr
. - person YoungHobbit   schedule 07.07.2016