Публикации по теме 'spark-shuffle'


Учитесь на примерах использования Facebook 60 ТБ Spark
После прочтения блога инженера Facebook о сценарии использования Spark 60 ТБ ( https://code.facebook.com/posts/1671373793181703/apache-spark-scale-a-60-tb-production-use-case/ ) стало интересно чтобы посмотреть немного подробнее о найденных ошибках, как они это исправили, а также для целей: получить некоторый опыт для ошибок, возникающих из-за экстремального состояния времени выполнения лучше знаком с исходным кодом Spark Давайте начнем: Искра-14363..