Я запускаю штормовой кластер на AWS. Но я хочу, чтобы штормовой кластер расширялся автоматически, когда в этом возникнет необходимость. Я понял, что мезос - это что-то вроде этого. Но у меня мало знаний о мезосе и его развертывании на AWS.
Может ли mesos на AWS автоматически увеличивать параллелизм моих задач топологии, запуская новые экземпляры и отключая их, когда в этом нет необходимости? Если можно, то как настроить мезос для того же.
Mesos не занимается автомасштабированием напрямую, но позволяет фреймворкам, работающим поверх него, получать новые предложения ресурсов и реагировать на них, запуская новые экземпляры задач. Я не использовал его лично, но вы можете попробовать фреймворк Storm-Mesos для запуска Storm на Mesos: https://github.com/mesos/storm
После запуска Storm на Mesos, готового к запуску новых экземпляров по мере поступления ресурсов, вы готовы к автоматическому масштабированию в пределах емкости существующего кластера. Вы, вероятно, захотите воспользоваться преимуществами групп автоматического масштабирования Amazon (ASG), чтобы увеличить количество узлов Mesos в зависимости от ваших потребностей. По мере того, как ASG увеличивает количество узлов Mesos, ресурсы этих узлов будут автоматически предлагаться платформе Storm-Mesos, которая может запускать больше экземпляров Storm.
Да, вы движетесь в правильном направлении. Однако я бы предложил использовать Marathon, а не низкоуровневый API Mesos.
См., например, репозиторий GitHub obaidsalikeen/storm-marathon, который особенно хорош с точки зрения полноты. и богатство документации.
