Как добавить метку настраиваемого узла к узлу задачи в EMR

Я хочу запускать свои искровые исполнители на узлах задач только в моем кластере AWS EMR, и ярлыки пряжи - один из способов добиться этого. Я могу указать метки во время отправки искр. Я хочу добиться следующего

  1. Добавьте настраиваемую метку во время запуска кластера.
  2. Свяжите эту метку с любым узлом, присоединяющимся к моему кластеру во время автомасштабирования.

Я хочу сделать это, чтобы снизить стоимость своего кластера, гарантируя, что все исполнители будут работать на локальных экземплярах.


apache-spark amazon-emr spot-instances yarn cost-optimization
person Rahul Garg    schedule 28.05.2021    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Мы достигли этого с помощью описанного ниже процесса.

  1. Во время загрузки узла Maser мы запускаем наш собственный сценарий, в котором создаем новую метку TASK. EMR автоматически создает уровень Core.
  2. Во время загрузки ядра и узла задач мы определяем тип узла из API метаданных и прикрепляем соответствующую метку к машине в зависимости от типа экземпляра. Если это экземпляр по запросу, мы присоединяем CORE, иначе мы добавляем метку TASK к узлу.
  3. Когда мы отправляем наше искровое задание, мы упоминаем выражение метки узла-исполнителя как TASK, что обеспечивает выполнение только для всех исполнителей на узле TASK.
person Rahul Garg    schedule 31.05.2021