Множественные преобразования Pentaho «Переменные?»

Я использую программное обеспечение для интеграции данных Pentaho.

В настоящее время я выполняю работу Pentaho в качестве ETL. Я ETL данные из нескольких мест и помещаю их в одну таблицу базы данных. Схема для всех мест, откуда я ETL, точно такая же. Таким образом, за исключением подключений к базе данных и одной «переменной», в которой хранится, откуда эти данные, преобразование в Pentaho абсолютно одинаково для каждого из них. Итак, у меня есть работа, которая запускает каждое из этих преобразований.

Проблема возникает, когда я хочу внести изменения. Мне нужно каждый раз менять 6 преобразований. Что я хочу сделать, так это каким-то образом установить что-то вроде переменной в Pentaho, которая говорит ему запустить одно преобразование, 6 раз, с разными подключениями к базе данных и, возможно, с одной переменной.

Это возможно?

Заранее спасибо.


person user2146933    schedule 07.11.2014    source источник


Ответы (2)


Если я правильно понял ваш вопрос, вам нужно зациклить несколько преобразований, используя один файл KTR (при условии, что существует только один тип базы данных).

PDI предоставляет вам шаг под названием «Копировать строки в результат», где вы можете хранить учетные данные своей базы данных в нескольких строках, и для каждого запуска задания будут использоваться разные соединения и выполнять преобразование несколько раз (6 в нашем случае ).

Примечание. Я предположил, что у вас есть только один тип базы данных, например. : mySQL, но с другими учетными данными.

Надеюсь, это поможет :) Я был бы рад предоставить вам пример кода, если он вам понадобится.

person Rishu Shrivastava    schedule 07.11.2014
comment
Да, все базы данных, к которым я подключаюсь, - это mysql и точно такая же схема, только разные учетные данные хоста/пользователя. Я попробую и дам вам знать. Если у вас есть пример кода, это тоже будет полезно. Спасибо за помощь! - person user2146933; 08.11.2014

Почему бы вам не использовать задание, которое будет передавать хост/пользователя/пароль в качестве переменных? Таким образом, весь ваш поток данных будет общим.

Надеюсь, этот ответ приведет вас в правильном направлении!

person AndreiScorus    schedule 16.01.2015