Добро пожаловать обратно!
Это мой 2-й пост. Мой предыдущий пост был довольно общим, чтобы помочь вам понять сегодняшнюю ИТ-индустрию. По мере того, как мы вместе продвигаемся в этом образовательном путешествии, мы будем постепенно переходить к техническим темам, связанным с данными и искусственным интеллектом, поскольку это моя страсть. Мы не будем обсуждать обычные данные и искусственный интеллект, кроме как использовать их для настройки фона. В своих блогах я постараюсь сосредоточиться на концепциях и технологиях, которые являются новейшими или очень продвинутыми темами в этой области.
Итак, если вы вспомните вторую таблицу из моего предыдущего поста, она, должно быть, немного сбила вас с толку и дала вам ощущение неполноты. Правильно?
Итак, давайте углубимся в диаграмму и разберемся, что именно на ней написано.
Приложения превратились в «умные приложения» (также известные как «умные» приложения или, как некоторые люди любят называть их «интеллектуальными приложениями»), однако пока давайте предположим, что это просто обычные приложения (перевод бизнес-процессов в технологии), однако ландшафт данных и ИИ прошел очень интересный путь эволюции.
DSS (системы поддержки принятия решений) сначала превратились в то, что мы называем хранилищем данных, следуя жизненному циклу моделирования данных, в основном занимаясь пакетной обработкой данных OLTP (в основном транзакционных данных приложения) и преобразовывая их в данные OLAP в форме размерных моделей хранилища ( Аналитические данные или, проще говоря - данные, преобразованные в форму, удобную для отчетности).
Хранилища данных были разработаны для решения следующих задач:
- Проблемы с единообразием данных: возникли из-за того, что приложения работают в разрозненных хранилищах, из-за чего данные хранились в разрозненных хранилищах.
- Мусор в мусоре: низкое качество данных, поступающих от приложений, приводит к плохим аналитическим результатам.
- Отсутствие 360-градусного обзора информации об организации: недоступность информации для принятия решений для всех, кто работает в сфере бизнеса (LOB).
- Плохой и несвоевременный доступ к информации; все, что тогда было доступно.
- Непонимание процессов преобразования данных, отчетности, аналитики и поддерживающих их технологий.
Чтобы узнать больше об этом, обратитесь к книге Bill Inmon’s - Building the Data Storage.
Вот простое представление DSS / традиционного DW:
Вышеупомянутая платформа DSS действительно решала проблему в течение долгого времени, но ее было недостаточно для растущего бизнеса, который становился ненасытным.
Поскольку люди нуждались в скрытой информации за отчетными результатами, которые требовали интеллектуального анализа данных и, таким образом, приводили к включению статистического анализа (в народе называемого «расширенной аналитикой»)
Подожди! Я просто использовал термин «расширенная аналитика» в этой статье, но во времена DW аналитика была очень редкой, в основном это были отчеты и информационные панели (также известные как описательная аналитика).
Итак, существуют ли разные формы аналитики? Действительно, есть. Посмотрим, что они из себя представляют:
Вышеупомянутые разделы Advanced Analytics приводят к следующему изменению в платформе DW, которое будет называться Decision Analytics Systems.
Однако аналитика была трудоемким процессом из-за технологии, доступной в то время. К тому же было недостаточно доступных технологий для обработки данных, генерируемых современными приложениями. Следовательно, эволюция шла по двум направлениям:
- Скорость обработки
- Обработка разнообразных данных.
Тем временем мир гудел от понятий «Обработка данных в реальном времени» и «Большие данные».
Обработка в реальном времени привела к развитию RTAP (платформа аналитики в реальном времени, также известная как Lambda Architecture).
Почему вышеупомянутая архитектура известна как Лямбда (Ʌ) Архитектура (также известная как RTAP)?
Вышеупомянутая архитектура имеет 2 ветви обработки - одна для холодной обработки (работа с источниками пакетных данных, структурированных по своей природе), а другая - для горячих данных (работа с данными в реальном времени, непрерывной подачей данных, данными потока кликов, в основном частично структурированными и неструктурированные данные), способствующие формированию озера данных, и поскольку данные в обоих источниках имеют разный тип, для их решения требуются разные технологии больших данных.
Однако это все еще не соответствует тому, о чем говорится на первой картинке этого блога. Позвольте мне создать картину в вашей голове.
На приведенной выше диаграмме представлена эволюция от поколения к поколению, то есть от DW к RTAP и Smart App. Здесь, если вы заметили, по мере того, как мир ИТ-инфраструктуры рос с точки зрения производительности, способность анализировать данные начала двигаться в сторону приложений и в конечном итоге внедрилась в само приложение, тем самым сделав их интеллектуальными приложениями. Примеры таких приложений: Приложения на основе Интернета вещей. Это произошло путем внедрения в приложения алгоритмов машинного обучения и искусственного интеллекта. Следовательно, машинное обучение и искусственный интеллект пересекаются как с приложениями, так и с ландшафтом данных и аналитики.
Надеюсь, это помогло прояснить, как среда данных и аналитики развивалась на протяжении десятилетий.
Следите за моими следующими сообщениями об умных приложениях.