Mesos Framework для оптимального распределения коротких (2-10 секунд) задач

Мне нужно выполнять короткие задачи в реальном времени (т.е. у каждой задачи есть крайний срок — обычно 1-10 секунд) различных типов.

Учитывая запланированную задачу типа A, я хочу, чтобы Mesos отправил задание подчиненному устройству, которое может уложиться в срок выполнения задачи.

В оптимальном варианте фреймворк должен:

  1. Узнайте требования к ресурсам для каждого типа работы автоматически
  2. Вносить предложения по добавлению или удалению ведомых устройств из кластера в зависимости от нагрузки.
  3. Поддержка динамического изменения приоритетов задач, выполняемых на каждом ведомом устройстве.

Будет ли какой-либо из существующих фреймворков Mesos хорошим началом для этого?


scheduled-tasks cluster-computing real-time mesos
person GroovyDotCom    schedule 11.03.2015    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Ваши требования к правильному размеру задач, автоматической подготовке кластера и динамическому изменению приоритетов задач не все вписываются в существующую структуру, о которой я знаю (кто-нибудь поправит меня!), но Mesos позволяет легко создавать свои собственные пользовательская структура, если у вас есть такие особые потребности.

Для планирования коротких задач с существующими платформами вы можете проверить Chronos, Singularity или Aurora .

Если вы хотите попробовать создать свой собственный фреймворк (около 200 строк кода для PoC), перейдите по следующим ссылкам:

person Adam    schedule 11.03.2015
comment
Chronos, Singularity и Aurora перечислены как предназначенные для длительных задач. См. mesos.apache.org/documentation/latest/mesos-frameworks. - person GroovyDotCom; 12.03.2015
comment
Как указано на этой странице, Chronos предназначен для пакетного планирования, по сути, это распределенный cron с зависимостями. Singularity и Aurora поддерживают задачи, подобные cron, а также длительные задачи. Из описания Singularity — длительные процессы, разовые задачи и запланированные задания. И с собственной веб-страницы Aurora для долговременных служб и заданий cron. - person Adam; 12.03.2015