Поскольку мои вычислительные задачи требуют быстрого дискового ввода-вывода, я заинтересован в установке больших RAM-дисков на каждом рабочем узле в кластере YARN, на котором работает Spark, и поэтому мне интересно, как менеджер кластера YARN обрабатывает память, занимаемую таким RAM-диском.
Если бы мне нужно было выделить 32 ГБ для RAM-диска на каждой машине с RAM 128 ГБ, например, знал бы менеджер кластера YARN, как распределять RAM, чтобы избежать чрезмерного выделения памяти при выполнении задач (в этом случае YARN ОЗУ для реквизированные задачи, или максимум только 96гб)?
Если да, то есть ли способ указать диспетчеру кластера YARN, что RAM-диск присутствует и, следовательно, определенный раздел RAM недоступен для YARN? Будет ли Spark знать об этих ограничениях?
