Архитектура платформы Azure Data/AI — аналитика
Создайте свою стратегию работы с данными на основе управления данными, управления жизненным циклом данных и управления жизненным циклом данных ML/AI, и все это в PaaS с учетом безопасности.
Пример использования
- Организация, управляемая данными
- Инсайты на основе активов данных
- Самообслуживание
- Расширенная аналитика
- Наука о данных
- Машинное обучение/Глубокое обучение
Архитектура
Объяснение
- Архитектура следует слева направо
- Из локальной среды в облако безопасным способом
Источник данных
- Локальные источники данных
- Облачные источники данных
- IoT/Индивидуальные IoT-устройства
- Устройства AI-IoT
Проглатывание
- Используйте интеграцию со средой выполнения интеграции для переноса пакетных данных из локального источника.
- используйте интеграцию для переноса пакетных данных из других облачных источников данных
- CDC можно организовать
- Дельта-озеро можно использовать
- Земля в сырой зоне
- Для потоковой передачи и событий используйте концентратор событий
- Могут быть клиенты Kafka, отправляющие конечную точку kafka концентратора событий
- Концентратор Интернета вещей, используемый для устройств с поддержкой Интернета вещей в качестве источника
- Потоковую аналитику можно использовать для сохранения данных из концентратора событий или концентратора Интернета вещей.
- Потоковая аналитика сохраняется в хранилище — ADLS gen2
Курирование
- Интеграция также может быть использована для курирования
- Бессерверный SQL можно использовать для получения данных из необработанных → обработанных
- Интегрируйте как поток данных для перетаскивания действий типа ELT/ETL
- Общая модель данных может использоваться для сохранения для окончательного
- Здесь происходит качество данных, проверка и агрегация.
- Purview может собирать информацию о происхождении и каталоге данных
- Здесь могут быть применены методологии обработки данных типа 1, типа 2 и другие.
- местом назначения может быть хранилище данных, озеро данных, болото данных, концентратор данных, сетка данных или любое другое место назначения данных.
- Дельта-обработка также доступна, если нам нужно ее использовать.
- Окончательный набор данных должен быть готов для того, чтобы потребители могли использовать его для бизнеса.
- Также можно использовать для принятия решений на основе данных самообслуживания.
Аналитика/ML/AI
- Что делать, если анализ
- Найти закономерность в данных
- Выделенный пул SQL предназначен только для больших объемов данных с более быстрым временем отклика.
- Машинное обучение Azure для создания расширенной аналитической модели
- Применить машинное/глубокое/обучение с подкреплением
- Обеспечивает управление жизненным циклом Data Science
- Также доступно управление моделями
- Моделирование без кода/с низким кодом
- Также доступен код на основе jupyter или python.
- Данные получены из озера данных и записаны обратно в озеро данных.
- Глубокое обучение на основе видео/аудио также возможно с помощью Azure ML.
- Вывод модели развертывается в службе Azure Kubernetes (отсутствует в архитектуре — представлен как службы приложений).
Визуализация и веб-приложение
- Большая часть визуализации данных — это панель мониторинга или отчеты.
- Используйте Power BI для визуализации
- Для пользовательского интерфейса беседы используйте Bot Service с API когнитивных служб.
- Для RPA — роботизированной автоматизации процессов используйте платформу Power
- Для Web/UI мы можем использовать Power Apps на мощной платформе.
Общие сервисы для операций
- Эти сервисы пересекаются со всеми сервисами azure paas.
- Используется для управления и операций
- Azure Purview используется как инструмент управления данными
- Каталог данных
- Отчет о соответствии данных требованиям GDPR/PII и другим требованиям
- Классификация данных
- Автоматическое сканирование или сканирование по расписанию источников данных
- Принесите родословную из Integrate/ADF
- Деловой глоссарий
- Указаны распорядители данных, владельцы и администраторы
- Azure Monitor для создания панели управления данными, чтобы увидеть, как работают службы и приложения.
- Azure Devops для выполнения CI/CD между средами
- Azure Keyvault для хранения защищенных ключей в хранилище ключей, таких как пароль и другой ключ доступа к API.
- Информация о приложениях — Хранение журналов времени выполнения для устранения неполадок приложения. Более конкретное приложение
- Azure AD — единая аутентификация для всех служб данных
- Github — хранить весь репозиторий кода в github.
Оригинал статьи — Samples2021/AzureDataPlatform.md на главной · балакрешнан/Samples2021 (github.com)