Функция скользящего окна для нерегулярных временных рядов, позволяющая обрабатывать дубликаты

У меня есть следующий data.frame:

    grp  nr   yr
 1:   A 1.0 2009
 2:   A 2.0 2009
 3:   A 1.5 2009
 4:   A 1.0 2010
 5:   B 3.0 2009
 6:   B 2.0 2010
 7:   B  NA 2011
 8:   C 3.0 2014
 9:   C 3.0 2019
10:   C 3.0 2020
11:   C 4.0 2021

Желаемый результат:

   grp  nr   yr nr_roll_period_3
1    A 1.0 2009               NA
2    A 2.0 2009               NA
3    A 1.5 2009               NA
4    A 1.0 2010               NA
5    B 3.0 2009               NA
6    B 2.0 2010               NA
7    B  NA 2011               NA
8    C 3.0 2014               NA
9    C 3.0 2019               NA
10   C 3.0 2020               NA
11   C 4.0 2021         3.333333

Логика:

  • Я хочу рассчитать скользящее среднее для периода длины k (скажем, 3), где 3 включает текущий месяц / год / день (по группе)
  • Однако это не должно рассчитывать ничего, если нет трех последовательных лет / месяцев / дней.
  • Аналогичным образом, если в столбце для расчета в течение этого периода есть NA, на выходе должно быть NA.

В настоящее время у меня есть такая функция:

calculate_rolling_window <-

  function(dt, date_col, calc_col, id, k) {

    require(data.table)

    return(setDT(dt)[
      , paste(calc_col, "roll_period", k, sep = "_") := 
        sapply(get(date_col), function(x) mean(get(calc_col)[between(get(date_col), x - k + 1, x)])),
      by = mget(id)])

  }

Он отлично работает для обычных случаев, когда в столбце даты нет дубликатов. Однако с дубликатами это не удается:

    grp  nr   yr nr_roll_period_3
 1:   A 1.0 2009         1.500000
 2:   A 2.0 2009         1.500000
 3:   A 1.5 2009         1.500000
 4:   A 1.0 2010         1.375000
 5:   B 3.0 2009               NA
 6:   B 2.0 2010               NA
 7:   B  NA 2011               NA
 8:   C 3.0 2014               NA
 9:   C 3.0 2019               NA
10:   C 3.0 2020               NA
11:   C 4.0 2021         3.333333

Есть идеи, как с этим справиться? Нет необходимости использовать исключительно data.table подход.


r date time-series rolling-computation
person arg0naut91    schedule 09.10.2018    source источник
comment
Это может помочь: stackoverflow.com/questions/15960352/   -  person phiver    schedule 09.10.2018
comment
Спасибо, однако, попробовали подходы и не могут вписаться в текущие требования.   -  person arg0naut91    schedule 09.10.2018

Ответы (1)


arrow_upward
6
arrow_downward

Эту проблему можно решить с помощью группировки в неэквивалентном соединении для агрегирования в течение скользящего окна длиной k, фильтрации в течение k последовательных лет и обновления соединения:

library(data.table)
k <- 3L
# group by join parameters of a non-equi join
mDT <- setDT(DT)[.(grp = grp, upper = yr, lower = yr - k), 
                 on = .(grp, yr <= upper, yr > lower), 
                 .(uniqueN(x.yr), mean(nr)), by = .EACHI]
# update join with filtered intermediate result
DT[mDT[V1 == k], on = .(grp, yr), paste0("nr_roll_period_", k) := V2]
DT

который возвращает ожидаемый результат OP:

    grp  nr   yr nr_roll_period
 1:   A 1.0 2009             NA
 2:   A 2.0 2009             NA
 3:   A 1.5 2009             NA
 4:   A 1.0 2010             NA
 5:   B 3.0 2009             NA
 6:   B 2.0 2010             NA
 7:   B  NA 2011             NA
 8:   C 3.0 2014             NA
 9:   C 3.0 2019             NA
10:   C 3.0 2020             NA
11:   C 4.0 2021       3.333333

Промежуточный результат mDT содержит скользящее среднее V2 за k периодов и количество уникальных / различных лет V1 в каждом периоде. Он создается с помощью неравномерного соединения DT с таблицей data.table, содержащей верхнюю и нижнюю границы, которая создается .(grp = grp, upper = yr, lower = yr - k) "на лету".

mDT

    grp   yr   yr V1       V2
 1:   A 2009 2006  1 1.500000
 2:   A 2009 2006  1 1.500000
 3:   A 2009 2006  1 1.500000
 4:   A 2010 2007  2 1.375000
 5:   B 2009 2006  1 3.000000
 6:   B 2010 2007  2 2.500000
 7:   B 2011 2008  3       NA
 8:   C 2014 2011  1 3.000000
 9:   C 2019 2016  1 3.000000
10:   C 2020 2017  2 3.000000
11:   C 2021 2018  3 3.333333

Это фильтруется для строк, содержащих ровно k различных лет:

mDT[V1 == k]

   grp   yr   yr V1       V2
1:   B 2011 2008  3       NA
2:   C 2021 2018  3 3.333333

Наконец, он соединяется с DT, чтобы добавить новый столбец в DT.

Обратите внимание, что mean() по умолчанию возвращает NA, если во входных данных есть NA.

Данные

library(data.table)
DT <- fread(text = "rn    grp  nr   yr
 1:   A 1.0 2009
 2:   A 2.0 2009
 3:   A 1.5 2009
 4:   A 1.0 2010
 5:   B 3.0 2009
 6:   B 2.0 2010
 7:   B  NA 2011
 8:   C 3.0 2014
 9:   C 3.0 2019
10:   C 3.0 2020
11:   C 4.0 2021", drop = 1L)
person Uwe    schedule 25.12.2018