Сравните строки в RDD

Вы можете сделать что-то подобное, используя mapPartitions:

rdd.mapPartitions { partition =>
  var previous = partition.next
  for (element <- partition) yield {
    val result = previous == element // Do your comparison.
    previous = element
    result
  }
}

Но это не сравнивает последний элемент раздела N с первым элементом раздела N+1. Это было бы довольно сложно сделать, и это повредило бы производительности. Так что я просто скрещиваю пальцы и надеюсь, что вы не против пропустить некоторые сравнения!

Вы можете перебирать каждый отдельный раздел RDD, используя mapPartitions, например:

val rdd = sc.parallelize(List(1,73,5,226))
rdd.mapPartitions { iter =>

  var last = 0
  var result = List[Boolean]()
  while (iter.hasNext) {
    val current = iter.next
    result = result ::: List(current > last)
    last = current
  }

  result.iterator
}.collect().foreach(println)

Дает:

правда правда ложь правда

Это делается для каждого раздела, а не для всего RDD.

Вам нужно создать ключ, а затем соединить rdd с самим собой (применив ваше смещение).

Я думал об этой возможности, я не уверен, что это действительно хороший вариант?

def diff_timestamp(liste):
    timestamps = liste
    r          = []
    values     = []
    for indice, valeur in enumerate(timestamps):
        values.append(float(valeur))
        if indice>0:
            delta = values[indice] - values[indice-1]
            r.append(delta)
    return r