Данные - это новая нефть, введение в интеллектуальный анализ данных !!!

Очень хорошо сказано, что «Мы живем в информационном веке», а не на самом деле это не информация, на самом деле это век данных, когда наблюдается взрывной рост данных. Поскольку информационные технологии развиваются естественным образом, отрасли баз данных и управления данными также стремятся к развитию критически важных функций. С каждой секундой растет огромное количество данных, заставляющих человеческий мозг копать глубже и узнавать больше об этом новом масле. Поскольку мы люди, наша черта - находить полезные вещи из доступных источников, и здесь на сцену выходит интеллектуальный анализ данных.

Что такое интеллектуальный анализ данных?

Data Mining можно определить как «извлечение знаний из данных», т.е. е превращение данных в информацию. Эта информация, полученная из данных, повышает эффективность бизнеса. Любая правильная и достоверная информация - это то, что мы можем назвать знанием. Data Mining - это междисциплинарный предмет, который можно определить по-разному. Он включает в себя поиск корреляций, аномалий, закономерностей, прогнозирование результатов или, возможно, обнаружение скрытых правил из больших наборов данных. Data Mining может применяться ко многим различным формам данных, таким как текстовые данные, графические данные, сетевые данные, пространственные данные, потоки данных и т. Д.

Открытие знаний из данных

Синонимом интеллектуального анализа данных является очень популярный термин, а именно Обнаружение знаний из данных, сокращенно обозначаемый как KDD, поскольку мы можем предположить, что интеллектуальный анализ данных является важным шагом в процессе открытие знаний из таких огромных доступных наборов данных.

Данные - ›Информация -› Знания

Термин «Обнаружение знаний из данных» первоначально определен как «широкий процесс поиска знаний в данных и подчеркивает высокоуровневое применение определенных методов интеллектуального анализа данных».

Ссылка: Файяд, Пятецкий-Шапиро, Смит, «От интеллектуального анализа данных к открытию знаний: обзор», в Файяд, Пятецкий-Шапиро, Смит, Утурусами, Достижения в области обнаружения знаний и интеллектуального анализа данных, AAAI Press / The MIT Press, Менло-Парк, Калифорния, 1996 г., стр. 1–34.

KDD - лучший способ выявить скрытые закономерности, неявно присутствующие в больших наборах данных. Эта процедура упрощает задачу принятия решений, поскольку при обнаружении сильных закономерностей мы сможем делать более точные прогнозы. KDD сократил растущий разрыв между данными и информацией. Без KDD предприятия не смогут удерживать ценных клиентов и принимать разумные решения.

Поиск знаний из данных - это последовательный процесс. Этапы процесса KDD следующие:

1). Сбор данных

2). Предварительная обработка и очистка данных

3). Преобразование данных

4). Интеллектуальный анализ данных

5). Интерпретация данных

1). Сбор данных - первый шаг включает выбор соответствующих данных для задачи анализа и извлечение этих данных из баз данных и соответствующих источников.

2). Предварительная обработка и очистка данных - это процесс удаления шума или нежелательного материала и устранения несогласованности данных.

3). Преобразование данных - процесс структурирования данных между исходными (начальными) данными и целевыми (конечными) данными. Этот шаг представляет собой смесь многих ручных и автоматических шагов.

4). Интеллектуальный анализ данных. Этот процесс включает использование моделей машинного обучения и некоторой статистики (поскольку интеллектуальный анализ данных имеет неотъемлемую связь со статистикой) для поиска скрытых закономерностей в больших наборах данных. Включенные здесь задачи, такие как регрессия, обнаружение аномалий, кластеризация и т. Д.

5). Интерпретация данных. Здесь для интерпретации полученных знаний из данных используются различные методы визуализации, которые также включают инструменты бизнес-аналитики.

Приложения для интеллектуального анализа данных в реальном мире:

Data Mining в значительной степени ориентирован на приложения. Data Mining играет очень важную роль во многих различных приложениях и широко используется в самых разных областях. Перечислить все приложения интеллектуального анализа данных невозможно. Некоторые из основных областей применения интеллектуального анализа данных включают в себя:

1). Обнаружение мошенничества (многие фирмы потеряли миллиард долларов из-за этих ежедневных мошеннических действий. Информация, полученная в результате интеллектуального анализа данных, значительно упрощает классификацию мошеннических и не мошеннических проще, это значительно ускорило процесс обнаружения мошенничества.)

2). Отношения с клиентами p. Управление (проведенный анализ данных помогает бизнесменам реализовывать более эффективные бизнес-стратегии, в которых очень большое внимание уделяется привлечению и удержанию клиентов.)

3). Уголовное расследование (основная цель здесь - определение характеристик преступления, доступных в данных, информация, полученная из данных, используется для расследования и раскрытия преступлений.)

4). Сегментация клиентов (интеллектуальный анализ данных помогает распределить клиентов по различным сегментам и соответствующим образом адаптировать потребности клиентов, что повышает эффективность рынка).

5). Обнаружение вторжений (интеллектуальный анализ данных помогает улучшить обнаружение вторжений за счет повышения уровня внимания к обнаружению аномалий. Это помогает извлекать данные, более важные для решения проблемы).

Вопросы / проблемы, связанные с интеллектуальным анализом данных

  • Методология майнинга - различные задачи KDD, многомерное пространство, междисциплинарность, шум
  • Взаимодействие с пользователем - пользовательский интерфейс, динамические и специальные запросы, фрагменты и кости, правила пользователя, визуализация.
  • Эффективность и масштабируемость - возможность выполнять в реальном времени, параллельно и распределенно, в облаке, кластере.
  • Разнообразие типов баз данных - сложные типы данных, разнородные.
  • Влияние на общество - конфиденциальность и безопасность, общественная польза

Надеюсь, вы все поняли основы интеллектуального анализа данных. И последнее, но не менее важное: поскольку изобилие данных увеличивается каждую секунду, это стало обязательным условием для компаний / предприятий, чтобы они развивались и управлялись данными, и тот, кто воспользуется преимуществами этих огромных богатых данных и извлечет из них информацию, придет. как победитель. Большое спасибо 🤗