Я пытаюсь реализовать совместное использование RDD/Dataframe с помощью Tachyon. Насколько я понимаю, с HDFS под FS запись является асинхронной (с репликацией в HDFS, происходящей за сценой) и, следовательно, должна быть быстрее, но в моем тестировании я вижу, что Tachyon с HDFS под FS в 2-6 раз медленнее при записи.
Из этой статьи о Тахионе я вижу, что:
«Мы сделали [отказоустойчивость на основе происхождения] настраиваемой в нашей интеграции Spark и MapReduce»
Как вы позволяете Spark использовать отказоустойчивость на основе происхождения в Tachyon?
Примечание. Я использую метод Spark Dataframe, df.write.parquet
, и метод RDD, rdd.saveAsObjectFile
, чтобы сохранить свои кадры данных/RDD в Tachyon.