Получение значения поля из канала за пределами канала в Hadoop Cascading

Hadoop Cascading разработан с концепцией создания сценария реального случая путем передачи данных между каналами и их параллельного выполнения в системе Map-Reduce Hadoop.

Выполнение java-программы не должно зависеть от остальной части каскадного потока (от создания исходного отвода до отвода приемника), и что делает каскадирование Hadoop: он выполняет эти два разных процесса в разных независимых экземплярах JVM и они не смогут разделить свои ценности.

Следующий код и его вывод показывают краткие подсказки:

System.out.println("Before Debugging");
m_eligPipe = new Each(m_eligPipe, new Fields("first_name"), new Debug("On Middle", true));
System.out.println("After Debugging");

Ожидаемый результат:

Before Debugging
On Middle: ['first_name']
On Middle: ['Binod']
On Middle: ['Rohit']
On Middle: ['Ramesh']
After Debugging

Фактический результат:

Before Debugging
After Debugging
...
...
On Middle: ['first_name']
On Middle: ['Binod']
On Middle: ['Rohit']
On Middle: ['Ramesh']

Я не понимаю, что ты пытаешься сказать. Вы имеете в виду извлечь значение поля ${description} за пределы канала. Если возможно что-то подобное в псевдокоде.

str = получить значение описания в inputPipe (которое находится в области задания, а не в функции или буфере)

Я предполагаю, что это то, что вам нужно: у вас есть канал с одним полем, то есть конкатенацией ${first_name} и ${description}. И вы хотите, чтобы на выходе был канал с полем ${description}.

Если да, то я бы сделал следующее: реализовал функцию, который извлекает описание и выполняет его.

Ваша функция (назовем ее ExtractDescriptionFunction) должна переопределить метод, работающий примерно так:

@Override
public void operate(FlowProcess flowProcess, FunctionCall<Tuple> functionCall) {
  TupleEntry arguments = functionCall.getArguments();

  String concatenation = arguments.getString("$input_field_name");
  String[] values = concatenation.split("\\|"); // you might want to have some data sanity check here
  String description = values[1];

  Tuple tuple = functionCall.getContext();
  tuple.set(0, description);
  functionCall.getOutputCollector().add(tuple);
}

Затем в определение потока добавьте следующее:

Pipe outputPipe = new Each(inputPipe, new ExtractDescriptionFunction());

Надеюсь это поможет.