Эластичность. Проверьте, все ли значения в заданном временном диапазоне превышают пороговое значение X.

Я хочу создать оповещение в Kibana с помощью эластичного запроса. Я использую функцию оповещения opendistro. Я хочу проверить, что все значения поля cpu.pct за последние 10 минут превышают 50, и, если да, выдать предупреждение.

{
"size": 500,
"query": {
    "bool": {
        "filter": [
            {
                "match_all": {
                    "boost": 1
                }
            },
            {
                "match_phrase": {
                    "client.id": {
                        "query": "42",
                        "slop": 0,
                        "zero_terms_query": "NONE",
                        "boost": 1
                    }
                }
            },
            {
                "range": {
                    "cpu.pct": {
                        "from": 10,
                        "to": null,
                        "include_lower": true,
                        "include_upper": true,
                        "boost": 1
                    }
                }
            },
            {
                "range": {
                    "@timestamp": {
                        "from": "{{period_end}}||-5m",
                        "to": "{{period_end}}",
                        "include_lower": true,
                        "include_upper": true,
                        "format": "epoch_millis",
                        "boost": 1
                    }
                }
            }
        ],
        "adjust_pure_negative": true,
        "boost": 1
    }
},
"aggregations": {
    "2": {
        "terms": {
            "field": "client.name.keyword",
            "size": 5,
            "min_doc_count": 1,
            "shard_min_doc_count": 0,
            "show_term_doc_count_error": false,
            "order": {
                "_key": "desc"
            }
        },
        "aggregations": {
            "3": {
                "terms": {
                    "field": "component.name",
                    "size": 1000,
                    "min_doc_count": 1,
                    "shard_min_doc_count": 0,
                    "show_term_doc_count_error": false,
                    "order": [
                        {
                            "1": "desc"
                        },
                        {
                            "_key": "asc"
                        }
                    ]
                },
                "aggregations": {
                    "1": {
                        "avg": {
                            "field": "cpu.pct"
                        }
                    }
                }
            }
        }
    }
}

У меня есть следующий запрос, который вычисляет среднее значение, но это неверно.

Отрицательный регистр: значения (100, 100, 100, 100, 100, 100, 0, 0, 0, 0) | Предупреждение: нет (в среднем: 60)

Положительный случай: значения (60, 60, 60, 60, 60, 60, 60, 60, 60, 60) | Оповещение поднято: да (в среднем: 60)

Как я могу проверить все значения?


kibana elasticsearch-opendistro
person amat_coder    schedule 18.08.2020    source источник
comment
Как вы запускаете оповещение? Через какое-то другое приложение?   -  person Nishant    schedule 18.08.2020
comment
иди брось medium.com/@ surya.vallabhaneni2/   -  person sandeep rawat    schedule 18.08.2020
comment
@OpsterESNinjaNishant Я использую функцию оповещения opendistro.   -  person amat_coder    schedule 19.08.2020

Ответы (1)


arrow_upward
0
arrow_downward

Я не уверен, какое приложение вы используете для запуска оповещения. Один из способов решить ваш случай - использовать агрегацию двух фильтров:

  1. totalInLast10Min : Это нужно для того, чтобы получить общее количество документов, проиндексированных за последние 10 минут.
  2. totalInLast10MinAboveTh: Это нужно для того, чтобы получить общее количество документов, проиндексированных за последние 10 минут, и иметь значение поля выше порогового значения.

Если totalInLast10Min == totalInLast10MinAboveTh, то вызовите оповещение.

Например

Создать индекс

PUT test
{
  "mappings": {
    "properties": {
      "timestamp": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss"
      }
    }
  }
}

Добавить несколько документов

POST test/_doc
{"cpu":20,"timestamp":"2020-08-18 20:20:00"}

POST test/_doc
{"cpu":100,"timestamp":"2020-08-18 20:21:00"}

POST test/_doc
{"cpu":90,"timestamp":"2020-08-18 20:29:00"}

Запрос:

GET test/_search
{
  "size": 0,
  "aggs": {
    "totalInLast10Min": {
      "filter": {
        "range": {
          "timestamp": {
            "gte": "2020-08-18 20:20:00"
          }
        }
      }
    },
    "totalInLast10MinAboveTh": {
      "filter": {
        "bool": {
          "must": [
            {
              "range": {
                "timestamp": {
                  "gte": "2020-08-18 20:20:00"
                }
              }
            },
            {
              "range": {
                "cpu": {
                  "gte": 80
                }
              }
            }
          ]
        }
      }
    }
  }
}

Пример результата:

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 3,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "totalInLast10MinAboveTh" : {
      "meta" : { },
      "doc_count" : 2
    },
    "totalInLast10Min" : {
      "meta" : { },
      "doc_count" : 3
    }
  }
}

Основываясь на подсчете двух агтов, вы можете написать условие, когда должно вызываться оповещение.

person Nishant    schedule 18.08.2020