Свинья: как передискретизировать данные временных рядов?

У меня есть очень большой набор данных, который я обрабатываю с помощью Pig.

Данные содержат timestamp (до второй частоты), и я хотел бы агрегировать свои данные с минутной частотой (подсчитывая, сколько наблюдений за минуту, усредняя другие переменные за эту минуту).

Можно ли это сделать с помощью Pig? Спасибо!


person ℕʘʘḆḽḘ    schedule 26.06.2016    source источник
comment
вы можете создать еще один столбец, который представляет собой подстроку до минуты, а затем сгруппировать отношение, используя этот столбец, а затем агрегировать   -  person Vikas Madhusudana    schedule 27.06.2016


Ответы (1)


Вы можете изменить поле метки времени (создать новое поле, например, с ГГГГммддЧЧММсс до ГГГГммддЧЧММ), затем сгруппировать по меткам времени и агрегировать данные.

person dltu    schedule 29.06.2016