В моем коде сокращения карты Scalding я хочу отключить определенные шаги, которые происходят, чтобы я мог отлаживать задания сокращения карты, если что-то пойдет не так.
Как я могу добавить ведение журнала в свою работу по ошпариванию?
E.g.
import com.twitter.scalding._
class WordCountJob(args: Args) extends Job(args) {
//LOG: Starting job at time blah..
TextLine( args("input") )
.read
.flatMap('line -> 'word) {
line: String =>
line.trim.toLowerCase.split("\\W+")
}
.groupBy('word) { group => group.size('count) }
}
.write(Tsv(args("output")))
//LOG - ending job at time...
}