Динамическое масштабирование Flink 1.5

Это касается динамического масштабирования в Flink 1.5.

Я использую Yarn для выполнения заданий Flink. Я начинаю эти работы со статическим ресурсом. Есть ли возможность масштабировать эту работу отдельно в определенных условиях, например, при проблемах с памятью.

Примечания к выпуску Flink 1.5 -

Applications can be rescaled without manually triggering a savepoint. Under the hood, Flink will still take a savepoint, stop the application, and rescale it to the new parallelism.

Это означает, что мне придется следить за памятью заданий и вручную запускать масштабирование. Есть ли какое-либо обходное решение, чтобы справиться с этим.


apache-flink flink-streaming flink-cep flink-sql
person user3107673    schedule 09.07.2018    source источник

Ответы (2)


arrow_upward
3
arrow_downward

Начиная с версии 1.5 Flink не поддерживает то, что вы хотите. Процесс изменения масштаба задания:

  1. Начните работу с initialParallelism и maxParallelism maxParallelism.
  2. Остановите это вручную.
  3. Перезапустите его с initialParallelism <= parallelism <= maxParallelism.
person gcandal    schedule 09.07.2018

arrow_upward
3
arrow_downward

Вам все равно нужно будет отслеживать свое приложение, но масштабирование можно легко выполнить, запустив:

./bin/flink modify -p <NEW-PARALLELISM>
person Rafi Aroch    schedule 10.07.2018