Добро пожаловать обратно!

Это мой 2-й пост. Мой предыдущий пост был довольно общим, чтобы помочь вам понять сегодняшнюю ИТ-индустрию. По мере того, как мы вместе продвигаемся в этом образовательном путешествии, мы будем постепенно переходить к техническим темам, связанным с данными и искусственным интеллектом, поскольку это моя страсть. Мы не будем обсуждать обычные данные и искусственный интеллект, кроме как использовать их для настройки фона. В своих блогах я постараюсь сосредоточиться на концепциях и технологиях, которые являются новейшими или очень продвинутыми темами в этой области.

Итак, если вы вспомните вторую таблицу из моего предыдущего поста, она, должно быть, немного сбила вас с толку и дала вам ощущение неполноты. Правильно?

Итак, давайте углубимся в диаграмму и разберемся, что именно на ней написано.

Приложения превратились в «умные приложения» (также известные как «умные» приложения или, как некоторые люди любят называть их «интеллектуальными приложениями»), однако пока давайте предположим, что это просто обычные приложения (перевод бизнес-процессов в технологии), однако ландшафт данных и ИИ прошел очень интересный путь эволюции.

DSS (системы поддержки принятия решений) сначала превратились в то, что мы называем хранилищем данных, следуя жизненному циклу моделирования данных, в основном занимаясь пакетной обработкой данных OLTP (в основном транзакционных данных приложения) и преобразовывая их в данные OLAP в форме размерных моделей хранилища ( Аналитические данные или, проще говоря - данные, преобразованные в форму, удобную для отчетности).

Хранилища данных были разработаны для решения следующих задач:

  • Проблемы с единообразием данных: возникли из-за того, что приложения работают в разрозненных хранилищах, из-за чего данные хранились в разрозненных хранилищах.
  • Мусор в мусоре: низкое качество данных, поступающих от приложений, приводит к плохим аналитическим результатам.
  • Отсутствие 360-градусного обзора информации об организации: недоступность информации для принятия решений для всех, кто работает в сфере бизнеса (LOB).
  • Плохой и несвоевременный доступ к информации; все, что тогда было доступно.
  • Непонимание процессов преобразования данных, отчетности, аналитики и поддерживающих их технологий.

Чтобы узнать больше об этом, обратитесь к книге Bill Inmon’s - Building the Data Storage.

Вот простое представление DSS / традиционного DW:

Вышеупомянутая платформа DSS действительно решала проблему в течение долгого времени, но ее было недостаточно для растущего бизнеса, который становился ненасытным.

Поскольку люди нуждались в скрытой информации за отчетными результатами, которые требовали интеллектуального анализа данных и, таким образом, приводили к включению статистического анализа (в народе называемого «расширенной аналитикой»)

Подожди! Я просто использовал термин «расширенная аналитика» в этой статье, но во времена DW аналитика была очень редкой, в основном это были отчеты и информационные панели (также известные как описательная аналитика).

Итак, существуют ли разные формы аналитики? Действительно, есть. Посмотрим, что они из себя представляют:

Вышеупомянутые разделы Advanced Analytics приводят к следующему изменению в платформе DW, которое будет называться Decision Analytics Systems.

Однако аналитика была трудоемким процессом из-за технологии, доступной в то время. К тому же было недостаточно доступных технологий для обработки данных, генерируемых современными приложениями. Следовательно, эволюция шла по двум направлениям:

  • Скорость обработки
  • Обработка разнообразных данных.

Тем временем мир гудел от понятий «Обработка данных в реальном времени» и «Большие данные».

Обработка в реальном времени привела к развитию RTAP (платформа аналитики в реальном времени, также известная как Lambda Architecture).

Почему вышеупомянутая архитектура известна как Лямбда (Ʌ) Архитектура (также известная как RTAP)?

Вышеупомянутая архитектура имеет 2 ветви обработки - одна для холодной обработки (работа с источниками пакетных данных, структурированных по своей природе), а другая - для горячих данных (работа с данными в реальном времени, непрерывной подачей данных, данными потока кликов, в основном частично структурированными и неструктурированные данные), способствующие формированию озера данных, и поскольку данные в обоих источниках имеют разный тип, для их решения требуются разные технологии больших данных.

Однако это все еще не соответствует тому, о чем говорится на первой картинке этого блога. Позвольте мне создать картину в вашей голове.

На приведенной выше диаграмме представлена ​​эволюция от поколения к поколению, то есть от DW к RTAP и Smart App. Здесь, если вы заметили, по мере того, как мир ИТ-инфраструктуры рос с точки зрения производительности, способность анализировать данные начала двигаться в сторону приложений и в конечном итоге внедрилась в само приложение, тем самым сделав их интеллектуальными приложениями. Примеры таких приложений: Приложения на основе Интернета вещей. Это произошло путем внедрения в приложения алгоритмов машинного обучения и искусственного интеллекта. Следовательно, машинное обучение и искусственный интеллект пересекаются как с приложениями, так и с ландшафтом данных и аналитики.

Надеюсь, это помогло прояснить, как среда данных и аналитики развивалась на протяжении десятилетий.

Следите за моими следующими сообщениями об умных приложениях.