Я очень новичок в Cascading/Scalding и не могу понять, как горячо читать данные из HBase. У меня есть таблица в HBase, где хранится история рук в покерных играх (очень простым способом: id -> hand, serialized with ProtoBuf ). Задание ниже...

Итак, этот вопрос связан с вопросом Преобразование матричного формата, ошпаривание Но теперь я хочу сделать операцию на спине. Итак, я могу сделать это таким образом: Tsv(in, ('row, 'col, 'v)) .read .groupBy('row) {...

Есть ли какие-либо указания, чтобы заставить Scalding работать с данными LZO Protobuf в HDFS? Я пытаюсь прочитать файлы, которые хранятся в двоичном Protobuf и сжаты в LZO с помощью Scalding. Можем ли мы использовать Elephantbird для чтения этих...

после установки java, scala scalding на OSX у меня возникает следующая ошибка, когда я пытаюсь запустить файл WordCountJob $ scripts/scald.rb --local WordCountJob.scala --input someInputfile.txt --output ./someOutputFile.tsv компиляция...

В моем коде сокращения карты Scalding я хочу отключить определенные шаги, которые происходят, чтобы я мог отлаживать задания сокращения карты, если что-то пойдет не так. Как я могу добавить ведение журнала в свою работу по ошпариванию? E.g....

У меня есть набор данных, который является результатом ошпаривания трубы, который выглядит так: 'Var1, 'Var2, 'Var3, 'Var4 = a,x,1,2 a,y,3,4 b,x,1,2 b,y,3,4 Я пытаюсь превратить это во что-то вроде: 'Var1, 'Var3x, 'Var4x, 'Var3y,...

Имейте такие данные, как: pid recom-pid 1 1 1 2 1 3 2 1 2 2 2 4 2 5 Нужно сделать: pid, recommendations 1 2,3 2 1,4,5 Это означает игнорировать себя из 2-го столбца и вводить остальные в строку, разделенную...

Я пытаюсь решить проблему, когда мне приходится перебирать все значения в канале. Чтобы смоделировать мою проблему, я объясню пример проблемы. Input file : number 1 2 3 4 Output should be number sumOfSmaller...

Я почти закончил свой проект Scalding, который использует Type Safe API вместо Fields API. Последняя проблема, которая остается для меня в общей настройке проекта, — это интеграционные тесты всего задания Scalding (я закончил модульные тесты для...

В настоящее время я работаю над заданием mapreduce, используя ошпаривание. Я пытаюсь установить порог, основываясь на том, сколько раз я вижу определенное значение среди строк в моем typedpipe. Например, если бы у меня были эти строки в моей...