Архитектура платформы Azure Data/AI — аналитика

Создайте свою стратегию работы с данными на основе управления данными, управления жизненным циклом данных и управления жизненным циклом данных ML/AI, и все это в PaaS с учетом безопасности.

Пример использования

  • Организация, управляемая данными
  • Инсайты на основе активов данных
  • Самообслуживание
  • Расширенная аналитика
  • Наука о данных
  • Машинное обучение/Глубокое обучение

Архитектура

Объяснение

  • Архитектура следует слева направо
  • Из локальной среды в облако безопасным способом

Источник данных

  • Локальные источники данных
  • Облачные источники данных
  • IoT/Индивидуальные IoT-устройства
  • Устройства AI-IoT

Проглатывание

  • Используйте интеграцию со средой выполнения интеграции для переноса пакетных данных из локального источника.
  • используйте интеграцию для переноса пакетных данных из других облачных источников данных
  • CDC можно организовать
  • Дельта-озеро можно использовать
  • Земля в сырой зоне
  • Для потоковой передачи и событий используйте концентратор событий
  • Могут быть клиенты Kafka, отправляющие конечную точку kafka концентратора событий
  • Концентратор Интернета вещей, используемый для устройств с поддержкой Интернета вещей в качестве источника
  • Потоковую аналитику можно использовать для сохранения данных из концентратора событий или концентратора Интернета вещей.
  • Потоковая аналитика сохраняется в хранилище — ADLS gen2

Курирование

  • Интеграция также может быть использована для курирования
  • Бессерверный SQL можно использовать для получения данных из необработанных → обработанных
  • Интегрируйте как поток данных для перетаскивания действий типа ELT/ETL
  • Общая модель данных может использоваться для сохранения для окончательного
  • Здесь происходит качество данных, проверка и агрегация.
  • Purview может собирать информацию о происхождении и каталоге данных
  • Здесь могут быть применены методологии обработки данных типа 1, типа 2 и другие.
  • местом назначения может быть хранилище данных, озеро данных, болото данных, концентратор данных, сетка данных или любое другое место назначения данных.
  • Дельта-обработка также доступна, если нам нужно ее использовать.
  • Окончательный набор данных должен быть готов для того, чтобы потребители могли использовать его для бизнеса.
  • Также можно использовать для принятия решений на основе данных самообслуживания.

Аналитика/ML/AI

  • Что делать, если анализ
  • Найти закономерность в данных
  • Выделенный пул SQL предназначен только для больших объемов данных с более быстрым временем отклика.
  • Машинное обучение Azure для создания расширенной аналитической модели
  • Применить машинное/глубокое/обучение с подкреплением
  • Обеспечивает управление жизненным циклом Data Science
  • Также доступно управление моделями
  • Моделирование без кода/с низким кодом
  • Также доступен код на основе jupyter или python.
  • Данные получены из озера данных и записаны обратно в озеро данных.
  • Глубокое обучение на основе видео/аудио также возможно с помощью Azure ML.
  • Вывод модели развертывается в службе Azure Kubernetes (отсутствует в архитектуре — представлен как службы приложений).

Визуализация и веб-приложение

  • Большая часть визуализации данных — это панель мониторинга или отчеты.
  • Используйте Power BI для визуализации
  • Для пользовательского интерфейса беседы используйте Bot Service с API когнитивных служб.
  • Для RPA — роботизированной автоматизации процессов используйте платформу Power
  • Для Web/UI мы можем использовать Power Apps на мощной платформе.

Общие сервисы для операций

  • Эти сервисы пересекаются со всеми сервисами azure paas.
  • Используется для управления и операций
  • Azure Purview используется как инструмент управления данными
  • Каталог данных
  • Отчет о соответствии данных требованиям GDPR/PII и другим требованиям
  • Классификация данных
  • Автоматическое сканирование или сканирование по расписанию источников данных
  • Принесите родословную из Integrate/ADF
  • Деловой глоссарий
  • Указаны распорядители данных, владельцы и администраторы
  • Azure Monitor для создания панели управления данными, чтобы увидеть, как работают службы и приложения.
  • Azure Devops для выполнения CI/CD между средами
  • Azure Keyvault для хранения защищенных ключей в хранилище ключей, таких как пароль и другой ключ доступа к API.
  • Информация о приложениях — Хранение журналов времени выполнения для устранения неполадок приложения. Более конкретное приложение
  • Azure AD — единая аутентификация для всех служб данных
  • Github — хранить весь репозиторий кода в github.

Оригинал статьи — Samples2021/AzureDataPlatform.md на главной · балакрешнан/Samples2021 (github.com)