Машинное обучение стало самой обсуждаемой темой в последние дни, в первую очередь из-за наличия множества библиотек, которые в значительной степени снижают сложность. Используя машинное обучение (ML), вам не нужно полагаться исключительно на людей, вы можете заставить машины работать и позволить им присматривать за вами. Одной из таких мощных библиотек машинного обучения является обнаружение аномалий временных рядов в реальном времени, доступное в elasticsearch. В одном из сообщений elasticsearch упоминалось, что цель состоит в том, чтобы позволить энтузиастам данных использовать алгоритмы машинного обучения без какого-либо соответствующего опыта. Поиграв с ним некоторое время, я думаю, что они довольно успешно достигли своей цели.

Простое обнаружение аномалий:

Обнаружение аномалий является синонимом обнаружения выбросов, когда данные не соответствуют ожидаемому или регулярному образцу. Это отклонение дает большое понимание, но для понимания скрытых закономерностей требуется работа многих сложных и надежных алгоритмов.

Elasticsearch ML API отличается от многих существующих с точки зрения универсальной применимости и надежности, которая дополнительно поддерживается elasticsearch. Он работает, создавая точные базовые линии нормального поведения в данных и выявляя аномальные закономерности в этих данных. Этот подход сильно отличается от традиционного способа полагаться на настраиваемые вручную правила и предоставлять оповещения на их основе. Использование настроенных правил часто приводит к бесконечному количеству нерелевантных предупреждений, и пользователи теряют к ним доверие, поскольку эти предупреждения не адаптируются к тенденциям в ваших данных.

Что такое ElasticSearch X-Pack на самом деле?

Elasticsearch предоставляет некоторые мощные функции, такие как безопасность, мониторинг и машинное обучение, с помощью плагинов X-pack. Это означает, что после установки x-pack пользователи смогут использовать все функции, и одной из них является алгоритм машинного обучения для обнаружения аномалий, который обрабатывает данные в режиме реального времени. ML API на серверной части использует сложные неконтролируемые алгоритмы машинного обучения и статистическое моделирование, что обеспечивает надежные и точные результаты. Эти функции машинного обучения можно применять к широкому спектру вариантов использования и наборов данных. На данный момент API ML фокусируется исключительно на обнаружении аномалий, но мы, безусловно, можем ожидать, что будет добавлено больше.

Как мы можем предположить, Machine Learning API тесно интегрирован с elasticsearch. Это означает, что миллионы событий можно анализировать за считанные секунды, используя возможности эластичного поиска. Если вы являетесь текущим пользователем elasticsearch, у вас есть все основания быть довольным, поскольку мы, безусловно, можем ожидать большего количества функций машинного обучения. Тем не менее, другим не нужно разочаровываться, легко начать и освоить это. Кроме того, это мощное средство обнаружения аномалий временных рядов также можно добавить к любому продукту или приложению путем разработки API, что является наиболее интересной частью, поскольку значительно повышает ценность любого продукта/приложения. Мы разработали собственный API и очень довольны той ценностью, которую он приносит нашим клиентам.

Хм... Где это точно подходит?

Чаще всего обнаружение аномалий в основном используется для данных журнала, чтобы понять использование сервера, безопасность и другую подобную информацию. Да, это очень хорошо подходит для данных журнала. Если вы видели какие-либо сообщения или блоги о X-pack ML API, скорее всего, вы должны были видеть примеры, связанные с данными журнала. Однако это лишь один из вариантов использования среди всех возможностей, которые предоставляет алгоритм обнаружения аномалий. Он хорошо подходит для любого типа данных временных рядов, поскольку модель основана на неконтролируемом обучении, она обучается с течением времени в отношении данных, поэтому возможности огромны. Мы в Lean Innovation Labs играли с различными наборами данных, такими как данные о продажах для приложений электронной коммерции, данные о доходах от рекламы для блогов и даже с данными о планировании продаж. Мы можем получить хорошую информацию об аномалиях для всех этих наборов данных, которая была очень ценной информацией для наших клиентов. Предоставление информации о данных наряду с возможностями машинного обучения повысило удовлетворенность клиентов и ценность нашего продукта InAppBI, где мы стремимся сделать процесс анализа данных достаточно простым и легким для использования, даже если вы не очень хорошо разбираетесь в машинах. Обучение. Я пытаюсь подчеркнуть, что X-pack ML API может быть применим к любому типу данных, поэтому попробуйте использовать имеющийся у вас набор данных и посмотрите, сможете ли вы извлечь из него какую-либо пользу. Но помните, что результаты сильно зависят от того, как вы настроите работу, поэтому убедитесь, что вы хорошо разбираетесь в темах, прежде чем принимать какое-либо решение.

Что ж, позвольте мне проиллюстрировать различные варианты использования:

На изображении выше показаны результаты анализа данных о продажах огромной линии одежды. В этом случае мы можем понять, как колебалась активность продаж и как варьировались продажи товаров одежды в зависимости от местоположения и бренда. В демонстрационных целях я смог использовать только ограниченные данные, но, как видите, результаты аномалий получены с хорошей аргументацией. Вы можете заметить, что нижняя и верхняя границы для определения нормального поведения адаптируются на основе тенденций данных и создают оповещения с оценкой достоверности по мере изменения шаблона.

Основываясь на опыте, мы считаем, что обнаружение аномалий с помощью Elasticsearch X-Pack ML API очень эффективно. Мы настоятельно рекомендуем его всем, кто хочет получить максимальную отдачу от данных. Мы разработали API обнаружения аномалий с использованием X-Pack и интегрировали его с нашей платформой InAppBI, которая по-своему уникальна. Мы даже спроектировали таким образом, чтобы наш Data Bot отправлял клиентам уведомления об аномалиях в режиме реального времени. Разве это не здорово, если Машины своевременно доставляют вам актуальные неизведанные данные и помогают вам принимать правильные решения? Это, действительно, здорово!

Если у вас есть какие-либо интересные данные для обработки и разработки обнаружения аномалий, дайте мне знать — я буду рад вам помочь. Вы можете связаться со мной [email protected]. И я буду более чем счастлив связаться с вами! (https://www.linkedin.com/in/rohithnama/)

Спасибо за ваше время и энергию, удачного обучения!

Об авторе:
Рохит Нама, инженер по обработке и анализу данных
Lean Innovation Labs
LinkedIn: https://www.linkedin. com/company/lean-innovation-labs-llc-/
Twitter: https://twitter.com/LeanILabs