Вопросы по теме 'oozie-workflow'

Действие Hortonworks Oozie Spark — NullPointerException
Я использую HDP 2.5.3 с oozie 4.2.0 . Действие spark настроено на запуск в режиме yarn-client. Задание Spark предназначено для получения данных из таблицы куста, их обработки и сохранения в HDFS . Но когда я пытаюсь отправить приложение Spark...
809 просмотров

oozie-невозможно назвать какие-либо узлы действий или управления oozie цифрами.
У меня есть рабочий процесс oozie, в котором много узлов управления и действий. Чтобы упростить отслеживание действий в браузере Hue, я попытался пронумеровать узлы управления и действия, добавив префикс 1,2,3 и так далее к имени узла. Вот фрагмент...
84 просмотров
schedule 03.01.2023

java.lang.IllegalArgumentException: попытка добавить ([custom-jar-with-spark-code].jar) несколько раз в распределенный кеш.
Я пытаюсь запустить простое задание Java Spark с помощью Oozie в кластере EMR. Задание просто берет файлы из входного пути, выполняет с ним несколько основных действий и помещает результат в другой выходной путь. Когда я пытаюсь запустить его из...
1856 просмотров

Как назвать действия подчиненного рабочего процесса в родительском рабочем процессе?
Я создал рабочий процесс Oozie, состоящий из нескольких действий вложенного рабочего процесса. Когда рабочий процесс выполняется, и я смотрю на него в HUE и на вкладке графика, все действия называются подрабочий процесс , и поэтому их невозможно...
57 просмотров
schedule 15.06.2022

Повторить успешные задания oozie
Есть ли способ полностью перезапустить успешные задания oozie. Предположим, что мы планируем создать таблицу и хотим перестроить ее по требованию — есть ли простой способ сделать это в oozie? Я пробую команду oozie -rerun, но если каждое действие...
454 просмотров

Файл в качестве аргумента командной строки для запуска действия в рабочем процессе Oozie
Как передать файл в качестве аргумента командной строки для запуска задания в рабочем процессе Oozie? Мое задание spark ожидает файл в качестве аргумента командной строки, но когда я передаю этот файл в рабочий процесс как /file/location, он не...
158 просмотров
schedule 19.03.2024

Oozie - EL_ERROR: невозможно преобразовать строку в тип Double
Получение узи EL_ERROR. Ниже приведены подробности рабочего процесса oozie. Пожалуйста, порекомендуйте. Код ошибки: EL_ERROR Сообщение об ошибке : Возникло исключение при попытке преобразовать строку "/tmp/dir" в тип "java.lang.Double"...
100 просмотров
schedule 31.05.2024

Как мне многократно запускать запрос Hive, используя каждую строку многострочного ввода в качестве параметра?
Используя Hue, у меня есть запрос Hive, который будет принимать входные данные (например, идентификационный номер) и возвращать запись на основе этого. Мне нужно обрабатывать несколько чисел, чтобы искать за один раз (последовательно или параллельно)...
27 просмотров
schedule 15.02.2023