Цель интеллектуального анализа данных — найти структуру вокруг неструктурированных данных и извлечь все значимое из того, что называется «зашумленными данными». Интеллектуальный анализ данных используется для обнаружения шаблонов, которые выявляют тенденции и корреляции, которые используются во многих отраслях. Бизнес, технологии, здравоохранение и даже правоохранительные органы используют интеллектуальный анализ данных, чтобы помочь прогнозировать тенденции в конкуренции, а также поведение людей. «Интеллектуальный анализ данных — это анализ (часто больших) наборов данных наблюдений для выявления неожиданных взаимосвязей и обобщения данных новыми способами, понятными и полезными для владельца данных» [1], и это определение относится к «данным наблюдений, », а не «экспериментальные данные». Эти модели и шаблоны, которые включают линейные уравнения, правила, кластеры, графики, древовидные структуры и повторяющиеся шаблоны в реальном времени. Наборы данных, проверяемые во время интеллектуального анализа данных, часто бывают большими. Таким образом, поскольку эти наборы данных настолько велики, мы сталкиваемся с новыми проблемами, связанными с определением представления данных и того, как мы должны анализировать эти данные в разумные сроки. «Удобно классифицировать интеллектуальный анализ данных по типам задач, соответствующих разным целям человека, который анализирует данные»[1].

1. Исследовательский анализ данных (EDA): цель изучить данные без каких-либо четких представлений о том, что мы ищем.

2. Описательное моделирование. Целью описательной модели является описание всех данных и/или процесса генерации данных.

3. Предиктивное моделирование: классификация и регрессия. Задача здесь состоит в том, чтобы построить модель, которая позволит предсказать значение одной переменной на основе известных значений других переменных.

4. Обнаружение шаблонов и правил. Три типа задач, перечисленных выше, связаны с построением модели. Другие приложения для интеллектуального анализа данных связаны с обнаружением шаблонов.

5. Поиск по содержимому. В этой задаче у пользователя есть интересующий его шаблон, и он хочет найти похожие шаблоны в наборе данных. Эта задача чаще всего используется для текстовых и графических наборов данных.

Системы обнаружения вторжений

Интеллектуальный анализ данных и машинное обучение вывели систему обнаружения вторжений (IDS) на новый уровень, когда речь идет о нашем постоянно меняющемся технологическом мире, в котором мы живем. «Цель системы обнаружения вторжений (IDS) — обеспечить еще один уровень защиты от вредоносных программ. (или иным образом несанкционированное) использование компьютерных систем, обнаруживая неправомерное использование или нарушение политики безопасности и предупреждая операторов о продолжающейся (или, по крайней мере, недавней) атаке»[2]. До того, как интеллектуальный анализ данных и машинное обучение были интегрированы в IDS, они были очень надежны при взаимодействии и опыте человека. Это взаимодействие чрезвычайно ручное и чрезвычайно подвержено ошибкам из-за неполных экспертных знаний.

Исследователи из Колумбийского университета разработали совершенно новый подход, основанный на интеллектуальном анализе данных. IDS будет основываться на правилах аудита, а не ручного кодирования. «Гораздо более эффективным подходом является предоставление разработчикам IDS автоматизированных инструментов и методов для

анализировать (необработанные) данные аудита, извлекать доказательства (признаки) атаки, а затем автоматически вычислять правила, обнаруживающие атаки. От эксперта-человека потребуется только «пометить» данные аудита, чтобы идентифицировать данные, относящиеся к неправомерному использованию»[2]. Эта технология в дальнейшем поможет предотвратить киберугрозы и продолжит повышать безопасность наших сетей.

Анализ преступной сети

Когда дело доходит до интеллектуального анализа данных о преступлениях, существует два типа аспектов: типы преступлений и проблемы безопасности, а также подходы и методы интеллектуального анализа данных о преступлениях. «Интеллектуальный анализ данных определяется как идентификация интересной структуры в данных, где структура обозначает шаблоны, статистические или прогностические модели данных и отношения между частями данных» [3]. Эта область все еще развивается, и пока у нас есть несколько применений различных методов интеллектуального анализа данных о преступлениях. Для повышения эффективности. У нас все еще могут быть более наглядные и интуитивно понятные методы криминального и разведывательного расследования, разработанные, чтобы помочь с моделями преступлений и сетевой визуализацией.

1. Извлечение сущностей: используется для автоматической идентификации человека, адреса, транспортного средства, наркотического средства и личного имущества из отчетов полиции.

2. Методы кластеризации. Такие понятия, как «пространство понятий», использовались для автоматического сопоставления различных объектов (таких как лица, организации, транспортные средства) в криминальных записях.

3. Обнаружение отклонений: применяется для обнаружения мошенничества, обнаружения сетевых вторжений и других анализов преступлений, которые включают отслеживание аномальных действий.

4. Классификация: используется для обнаружения спама по электронной почте и поиска авторов, рассылающих нежелательные электронные письма.

5. Компаратор строк: используется для обнаружения вводящей в заблуждение информации в судимости.

6. Анализ социальных сетей: используется для анализа ролей преступников и ассоциаций между субъектами в преступной сети.

Анализ изображений

Интеллектуальный анализ изображений анализирует большие наборы данных, специфичных для предметной области, и извлекает эту информацию по новому шаблону, а также с помощью других средств, которые должны повлиять на ваши способности принимать решения. «Цифровая криминалистика охватывает широкий спектр приложений, таких как правоохранительные органы, расследование мошенничества, кража или уничтожение интеллектуальной собственности. Методы, используемые для таких расследований, разнообразны и могут включать добычу и анализ данных, корреляцию временной шкалы, анализ сокрытия информации и т. д. Поскольку мультимедийный формат широко используется и легко доступен через Интернет, в последние несколько лет наблюдается рост преступной деятельности, включающей передача и использование неприемлемых материалов, таких как детская порнография, в этом формате» [4].

Анализ содержимого электронной почты

«Электронный торговый центр используется во многих законных действиях, таких как обмен сообщениями и документами. К сожалению, он также может быть использован для распространения нежелательных и/или неуместных сообщений и документов» [5]. Электронная почта отправляется с SMTP или простого протокола передачи почты и использует MTA или агент передачи почты, чтобы убедиться, что почта доходит до адресата. Это говорит о том, что вы также можете извлекать электронную почту или собирать другие звонки для сбора адресов электронной почты из многих известных источников. Теперь, когда у вас есть эти адреса, вы можете либо ходатайствовать, либо отправлять вредоносный контент отдельным лицам.

Моделирование поведения серьезных сексуальных преступников

Несмотря на то, что интеллектуальный анализ данных оказался очень полезным во многих технологических аспектах, этот метод, согласно этой статье, не был использован в полной мере. Тем не менее, по мере того, как наши технологии совершенствуются, преступников задерживают намного быстрее. Особенно с распознаванием лиц и интеллектуальным анализом данных. Наличие информации о предыдущих преступниках и шаблонах полезно для интеллектуального анализа данных, которые вводятся в SOM или Self Organizing Map, чтобы связать все записи обо всех серьезных преступлениях в Великобритании. «Когда конкретное правонарушение происходит в Соединенном Королевстве (Великобритания), Силы, в которых было совершено правонарушение, уполномочены направить полную информацию в NCF для последующего ввода в систему ViCLASS» [6].

Оценка безопасности Rapid Fire Tools

Обзор:

Тестирование вашей сети для оценки вашей инфраструктуры помогает убедиться в отсутствии уязвимостей. Инструмент выбора для сети, которой я управляю, называется Rapid Fire Tools. Эта ненавязчивая программа выполняет углубленное сканирование вашей сети для выявления широкого спектра уязвимостей серверов, конечных точек и сети. После обнаружения этих уязвимостей создаются очень подробные отчеты о рисках, в которых даются лучшие практические рекомендации по устранению проблем.

Важность оценок безопасности

Существует множество причин, по которым организациям важно проводить периодические оценки кибербезопасности. Сегодня почти все организации, хранящие конфиденциальные данные, по закону обязаны проходить периодическую оценку кибербезопасности [7]. Существует несколько государственных постановлений, которые помогают защитить не только вашу личную информацию, но и конфиденциальную информацию. Компания, в которой я работаю, проводит выборочные аудиты безопасности, а также заполняет формы аудита доступа к сети. Эти аудиты и формы необходимы нам для ведения бизнеса со многими различными компаниями, которые обязаны соблюдать правила киберзащиты.

Запуск сканирования сети может значительно помочь смягчить уязвимости, которые могут нанести ущерб, если их оставить без присмотра. Крайне важно всегда стараться быть в курсе всех новейших угроз. Таким образом, вы можете принимать наиболее информативные решения на основе результатов вашей оценки [7]. Есть так много причин, по которым часто приходится оценивать вашу сеть. Оценки дают понимание того, насколько на самом деле безопасна ваша сеть. Другие преимущества заключаются в том, что вы можете видеть, действительно ли все ваши устройства обновляются или нет. Все эти причины имеют решающее значение и должны восприниматься очень серьезно. Независимо от того, в какой сфере деятельности вы находитесь, вся информация должна храниться внутри компании и не попасть в руки преступников.

Оценка сети с помощью инструментов Rapid Fire

Часть моего проекта по оценке сети имеет решающее значение для всех внутренних компонентов, таких как ПК, ноутбуки и точки доступа, которые могут находиться в вашей сети. В этом отчете содержится подробная информация о том, как работают эти компоненты и есть ли подчеркнутые проблемы, требующие внимания. Этот отчет поможет выявить проблемы, относящиеся к вашей среде. Эта система отчетности будет выдавать оценку риска и проблемы, которая поможет вам понять, где находится ваш сетевой риск. В этом отчете вы найдете обзор проблем, который представляет собой подробный анализ передового опыта в отношении того, как подойти к обнаруженным проблемам и закрепить их. Что замечательно в этой оценке сети, так это то, что следующий этап точно укажет, какие проблемы являются наиболее серьезными, а какие требуют немедленного решения.

Заключение Rapid Fire Tools

Эти отчеты являются жизненно важным активом для любой среды. Нет человека, способного поймать и обнаружить каждую уязвимость. Вот почему нам нужны отличные инструменты оценки, которые помогут нам обнаружить и понять, что подвергается риску в наших сетях. Rapid Fire Tools — лучшая диагностическая программа, которую я когда-либо использовал. Это программное обеспечение обнаруживает уязвимости сети, безопасности и черной паутины, которые не заметил бы даже самый продвинутый человек. Я понимаю, что в отрасли есть много инструментов, а также компаний, которые выйдут и проведут оценку для вас, но возможность сделать это самостоятельно является ключом к росту в этих бесконечных угрозах кибербезопасности, которые могут повлиять твоя жизнь. Я искренне верю, что эти инструменты необходимы для производительности, безопасности информации и здравого ума, что вы лучше всего защищены.

Использованная литература:

[1]. Хэнд Д., Маннила Х., Смит П. (2001). Принципы интеллектуального анализа данных. Кембридж, Массачусетс: MIT Press

[2]. Столфо, С.Дж., Ли, В., Чан, П.К., Фан, В., Эскин. Э. (2001). Детекторы вторжений на основе интеллектуального анализа данных: обзор проекта Columbia IDS. Запись ACM SIGMOD; Том. 30, 5–14.

[3]. Чен, Х., Чанг, В., Цинь, Ю., Чау, М., Сюй, Дж. Дж., Ван, Г., Чжэн, Р., Атабахш, Х. (2003). Интеллектуальный анализ данных о преступлениях: обзор и тематические исследования. Серия материалов международной конференции ACM; Том. 130, 1–5.

[4]. Браун, Б., Фам, Б., Вел, О. (2005). Проектирование системы интеллектуального анализа изображений для цифровой криминалистики. IIHMSP05, Мельбурн

[5]. Вел О., Андерсон А., Кони М., Мохай. Г. (2001). Анализ содержимого электронной почты для криминалистической экспертизы идентификации автора. Запись ACM SIGMOD; Том. 30, №4.

[6]. Аддерли, Р., Масгроув, П.Б. (2001). Тематическое исследование интеллектуального анализа данных: моделирование поведения правонарушителей, совершивших серьезные сексуальные посягательства. Материалы седьмой международной конференции ACM SIGKDD по открытию знаний и интеллектуальному анализу данных; 215- 220.

[7]. ITarian. (2019). Что такое оценка сети | Как работает инструмент оценки сети? [онлайн] Доступно по адресу: https://www.itarian.com/itcm-network-assessment.php [Проверено 24 июля 2019 г.].