Публикации по теме 'spark-shuffle'
Учитесь на примерах использования Facebook 60 ТБ Spark
После прочтения блога инженера Facebook о сценарии использования Spark 60 ТБ ( https://code.facebook.com/posts/1671373793181703/apache-spark-scale-a-60-tb-production-use-case/ ) стало интересно чтобы посмотреть немного подробнее о найденных ошибках, как они это исправили, а также для целей:
получить некоторый опыт для ошибок, возникающих из-за экстремального состояния времени выполнения лучше знаком с исходным кодом Spark
Давайте начнем:
Искра-14363..