Размеры сегментов Elasticsearch и память JVM для гибкой облачной конфигурации

У меня есть кластер ES с 2 узлами (Elastic Cloud) с размером кучи 60 ГБ. Ниже приведены мои индексы и количество выделенных осколков.

green open prod-master-account       6 0  6871735    99067   4.9gb  4.9gb 
green open prod-master-categories    1 1      221        6   3.5mb   1.7mb 
green open prod-v1-apac              4 1 10123830  1405510  11.4gb   5.6gb 
green open prod-v1-emea              9 1 28608447  2405254  30.6gb    15gb 
green open prod-v1-global           10 1 94955647 12548946 128.1gb  61.2gb 
green open prod-v1-latam             2 1  4398361   471038   4.7gb   2.3gb 
green open prod-v1-noram             9 1 51933712  6188480  60.1gb  29.2gb

Память JVM выше 60%. Я хочу понизить этот кластер до меньшего размера кучи. Но он каждый раз дает сбой и дает прерыватель цепи из-за высокой памяти JVM.

Я хочу знать, почему память JVM все еще высока? Как я могу поддерживать низкий уровень памяти JVM? Я что-то не так делаю с шардингом?

Как говорится в руководствах, следует хранить 20 осколков на ГБ. Судя по моим конфигурациям, это меньше этих значений. Как я могу понизить этот кластер до кластера с меньшим размером кучи?

Очень признателен!


jvm elasticsearch-7 elastic-cloud
person Razeen Muhajireen    schedule 13.11.2020    source источник
comment
При удаче?? пожалуйста, просмотрите мой ответ и дайте мне знать, если вам нужна дополнительная информация.   -  person user156327    schedule 27.11.2020

Ответы (1)


arrow_upward
0
arrow_downward

60 ГБ размера HEAP вообще не рекомендуется для процесса ES или любого другого процесса JVM, поскольку за пределами 32 ГБ JVM не использует сжатые указатели объектов (сжатые oops), поэтому вы не получите оптимальной производительности.

См. официальный документ ES. о настройке кучи для получения дополнительной информации.

Ниже вы можете попробовать оптимизировать размер кучи ES.

  1. Если у вас есть машины с большой оперативной памятью, попробуйте использовать машину среднего размера, где вы выделяете 50% ОЗУ для размера кучи ES (не должен превышать порог размера кучи 32 ГБ).
  2. Назначьте меньше основных сегментов и увеличьте количество сегментов реплик для повышения производительности поиска.
person user156327    schedule 13.11.2020