Что такое матрица путаницы?

Матрица путаницы представляет собой табличную сводку количества правильных и неправильных прогнозов, сделанных классификатором. Он используется для измерения производительности модели классификации. Его можно использовать для оценки производительности модели классификации путем расчета показателей производительности, таких как точность, точность. Матрицы путаницы широко используются, потому что они дают лучшее представление о производительности модели, чем точность классификации.

В приведенной выше таблице есть следующие случаи:

  • Истинно отрицательный: модель дала прогноз "Нет", и реальное или фактическое значение также было "Нет".
  • Истинно положительный: модель предсказала да, и фактическое значение также было верным.
  • Ложноотрицательный: модель предсказывала «нет», но фактическое значение было «да». Это также называется ошибкой второго рода.
  • Ложное срабатывание: модель предсказала Да, но фактическое значение было Нет. Это также называется ошибкой первого рода.
  • Целевая переменная имеет два значения: положительное или отрицательное.
  • Столбцы представляют фактические значения целевой переменной.
  • Строки представляют предсказанные значения целевой переменной.

Следовательно, матрица путаницы представляет собой таблицу с двумя строками и двумя столбцами, в которой сообщается количество ложных положительных результатов, ложных отрицательных результатов, истинных положительных результатов и истинных отрицательных результатов. Это позволяет проводить более подробный анализ, чем простая доля правильных классификаций (точность). Точность приведет к вводящим в заблуждение результатам, если набор данных несбалансирован; то есть когда количество наблюдений в разных классах сильно различается.

Что такое показатели производительности?

Отзывать :

Отзыв определяется как отношение общего количества правильно классифицированных положительных классов к общему количеству положительных классов. Или из всех положительных классов, сколько мы предсказали правильно. Отзыв должен быть высоким (в идеале 1).

"Отзыв — полезная метрика в тех случаях, когда ложноотрицательный результат важнее ложноположительного"

Вспомнить примеры важно в медицинских случаях, когда не имеет значения, поднимем ли мы ложную тревогу, но фактические положительные случаи не должны остаться незамеченными!

Отзыв был бы лучшим показателем, потому что мы не хотим случайно выписать зараженного человека и позволить ему смешаться со здоровым населением, тем самым распространяя заразный вирус. Теперь вы можете понять, почему точность была плохой метрикой для нашей модели.

Точность :

Точность определяется как отношение общего количества правильно классифицированных положительных классов к общему количеству предсказанных положительных классов. Или из всех прогностических положительных классов, сколько мы предсказали правильно. Точность должна быть высокой (в идеале 1).

"Точность – полезный показатель в тех случаях, когда ложноположительные результаты вызывают большее беспокойство, чем ложноотрицательные"

Точность :

Точность просто измеряет, как часто классификатор делает правильный прогноз. Это отношение количества правильных прогнозов к общему количеству прогнозов. Метрика точности не подходит для несбалансированных классов.

У точности есть свои недостатки: для несбалансированных данных, когда модель предсказывает, что каждая точка принадлежит метке класса большинства, точность будет высокой. Но модель не точная.

Ошибки в матрице путаницы:

Матрицы путаницы имеют два типа ошибок: Тип I и Тип II.

Ошибка типа I. В основном это называется ложным срабатыванием, называемым ошибкой типа I. Это самый опасный вид ошибки, так как это означает, что наша модель предсказала или дала неправильный ответ, но в положительном смысле, т.е. правда. например, в областях безопасности, если такая ошибка произойдет, тогда, если инженеры по безопасности будут полагаться на прогнозируемые данные модели ML, которые не будут точными на 100%, тогда будет шанс взломать или взломать системы. взломщики как ложноположительные означают, что наша модель дала неправильный ответ, но в положительном смысле, что означает, что наша модель не будет уведомлять инженеров по безопасности о 20 или 30% злоумышленников, которые проникли в среду организации, поскольку модель машинного обучения не 100 % точны, и инженеры по безопасности не предпримут значительных действий вовремя, что может привести к огромным потерям для организации.

Ошибка типа II. Ложноотрицательный результат называется ошибкой типа II. Эта ошибка настолько опасна, что обычно означает, что наша модель дала неверный отрицательный ответ, т.е. ложный. Но такие ошибки обычно означают, что модель предсказала сдавших экзамен студентов и предсказала 50 студентов, которые не сдали экзамен, но на самом деле только 40 студентов сдали экзамен, поэтому остальные 10 студентов столкнутся с такой ошибкой или False. Отрицательный.

Что такое киберпреступность?

Киберпреступность — это преступная деятельность, направленная против компьютера, компьютерной сети или сетевого устройства или использующая их. Большинство, но не все киберпреступления совершаются киберпреступниками или хакерами, которые хотят заработать деньги. Киберпреступность совершается отдельными лицами или организациями. Некоторые киберпреступники организованы, используют передовые методы и обладают высокими техническими навыками. Остальные — начинающие хакеры.

В редких случаях киберпреступность направлена ​​на повреждение компьютеров по причинам, отличным от получения прибыли. Они могут быть политическими или личными.

Обзор ложноположительных и ложноотрицательных результатов

Понимание различий между ложноположительными и ложноотрицательными результатами, а также того, как они связаны с кибербезопасностью, важно для всех, кто работает в области информационной безопасности. Почему? Расследование ложных срабатываний является пустой тратой времени и ресурсов и отвлекает вашу команду от сосредоточения внимания на реальных кибер-инцидентах (оповещениях), исходящих от вашего SIEM.

Что такое ложные срабатывания?

Ложные срабатывания — это ошибочно помеченные предупреждения системы безопасности, указывающие на наличие угрозы, хотя на самом деле ее нет. Эти ложные/не вредоносные оповещения (события SIEM) увеличивают шум для и без того перегруженных команд безопасности и могут включать программные ошибки, плохо написанное программное обеспечение или нераспознанный сетевой трафик.

По умолчанию большинство групп безопасности привыкли игнорировать ложные срабатывания. К сожалению, эта практика игнорирования предупреждений безопасности — какими бы тривиальными они ни казались — может вызвать усталость от предупреждений и привести к тому, что ваша команда пропустит фактические важные предупреждения, связанные с реальными/злонамеренными киберугрозами (как в случае с Нарушением целевых данных). »).

На эти ложные срабатывания приходится примерно 40 % предупреждений, которые команды кибербезопасности получают ежедневно, и в крупных организациях они могут быть чрезмерными и огромной тратой времени.

Что такое ложноотрицательные результаты?

Ложноотрицательные срабатывания — это неуловленные киберугрозы, которые игнорируются инструментами безопасности, потому что они неактивны, очень сложны (т. е. не содержат файлов или могут перемещаться в горизонтальном направлении) или в имеющейся инфраструктуре безопасности отсутствуют технологические возможности для обнаружения этих атак.

Эти продвинутые/скрытые киберугрозы способны обойти технологии предотвращения, такие как брандмауэры нового поколения, антивирусное программное обеспечение и платформы обнаружения и реагирования конечных точек (EDR), обученные искать «известные» атаки и вредоносное ПО.

Никакая технология кибербезопасности или предотвращения утечки данных не может блокировать 100% угроз, с которыми они сталкиваются. Ложные срабатывания входят в 1% (примерно) вредоносных программ и киберугроз, которые большинство методов предотвращения склонны пропускать.

Укрепление вашей кибербезопасности

Существование как ложноположительных, так и ложноотрицательных результатов вызывает вопрос: включает ли ваша стратегия кибербезопасности упреждающие меры? Большинство программ безопасности опираются на превентивные и реактивные компоненты, создавая надежную защиту от атак, о существовании которых эти инструменты знают. С другой стороны, упреждающие меры безопасности включают внедрение политик и процедур реагирования на инциденты и упреждающий поиск скрытых/неизвестных атак.

Правила, которые помогут управлять вашим подходом к кибербезопасности с проактивным мышлением —

  • Предположим, что вы взломаны, и начните свои наступательные (упреждающие) инициативы с целью найти эти нарушения. Поступая таким образом, вы будете стремиться проверить силу своих средств защиты/предотвращения, понимая, что ни один из них не эффективен на 100%.
  • Используйте инструменты обнаружения активов для обнаружения хостов, систем, серверов и приложений в вашей сетевой среде, потому что вы не можете защитить то, о существовании чего не знаете.
  • Выполняйте регулярные оценки компрометации (мы рекомендуем не реже одного раза в неделю) и проверяйте каждый ресурс, находящийся в вашей сети.
  • Определите политики и процедуры безопасности, а также внедрите требования к обучению и обучению, чтобы вся ваша команда знала, что делать, если вы обнаружите скрытую брешь или, что еще хуже, станете жертвой утечки данных.
  • Время — ваш самый ценный актив, поэтому внедрение инструментов/технологий для ускорения обнаружения и времени реагирования является ключевым моментом и может помочь вашей команде безопасности предотвратить утечку данных.

Если вашей команде не хватает ресурсов для упреждающего обнаружения сложных постоянных угроз и реагирования на них, рассмотрите возможность передачи своих служб безопасности на аутсорсинг поставщику управляемого обнаружения и реагирования (MDR). Компании MDR самостоятельно консультируют и предупреждают вас о непосредственных угрозах, а также оказывают помощь в реагировании на эти угрозы и их устранении.

Спасибо, что прочитали эту статью🥰!!

— Прия Сингх