Как мне многократно запускать запрос Hive, используя каждую строку многострочного ввода в качестве параметра?

Используя Hue, у меня есть запрос Hive, который будет принимать входные данные (например, идентификационный номер) и возвращать запись на основе этого. Мне нужно обрабатывать несколько чисел, чтобы искать за один раз (последовательно или параллельно) и сопоставлять результаты (т.е. перечислять записи для каждого, одну за другой), поэтому ввод может быть:

1234567890
45345353
32423422
1323122
etc...

У меня есть доступ к Hue (который я должен использовать), Hive, Oozie и Beeline. Как я:

1.) извлеките номер для каждой строки

2.) неоднократно вызывать мой запрос HiveQL, передавая каждое число по очереди

3.) предоставить пользователю общий результат за один раз

Я не знаю Python, если это актуально, но могу попробовать сценарий оболочки.

Я предполагаю, что одним из способов может быть получение многострочного пользовательского ввода через Oozie (может ли он запрашивать ввод у пользователя?), А затем передать его в сценарий оболочки, который извлекает номер из каждой строки и использует beeline для повторного запуска моего Запрос Hive со следующим номером в качестве параметра?

Спасибо


person Alex Kerr    schedule 22.01.2021    source источник
comment
Почему вы не можете присоединиться к своему запросу с входным набором данных вместо того, чтобы многократно вызывать мой запрос HiveQL?   -  person leftjoin    schedule 23.01.2021
comment
Спасибо @leftjoin, но новичок в этом и не понимаю, как это сделать, извините ...   -  person Alex Kerr    schedule 23.01.2021
comment
В чем проблема, например, с передачей вашего ввода в качестве параметра в фильтр IN? Покажите, пожалуйста, что пробовали? Это может помочь: stackoverflow.com/a/56963448/2700344 и stackoverflow.com/a/65235596/2700344   -  person leftjoin    schedule 23.01.2021
comment
@leftjoin еще раз спасибо. В итоге я использовал IN в своем предложении where, например 'where id_num IN {$ IDs_list}', чтобы пользователю было предложено ввести IDs_list при запуске задания Oozie. Кроме того, знаете ли вы, как разветвляться на основе ввода данных пользователем? Не вижу, как разрешить пользователю вводить что-либо в рабочий процесс Oozie. Спасибо   -  person Alex Kerr    schedule 25.01.2021