В настоящее время в рамках наших требований мы работаем с указанными ниже компонентами Azure.
Центр событий Azure
Azure Stream Analytics
Хранилище таблиц Azure
База данных SQL Azure
По сути, с первыми тремя компонентами мы будем создавать платформу аналитики и отчетов.
В настоящее время, когда мы только начали, мы анализируем данные из хранилища таблиц Azure и отображаем их на панели аналитики.
Недавно мы познакомились с новым продуктом Azure Azure Data Lake. Проведя небольшое исследование на веб-сайте Microsoft, мы увидели, что можем легко перенести данные из хранилища таблиц Azure (с помощью фабрики данных Azure) в Azure Lake Store. Создание конвейеров больших данных с помощью Azure Data Lake и фабрики данных Azure
При переходе по указанной выше ссылке упоминается, что нам нужно создать конвейер Azure Data Lake Analytics для обработки данных.
Так что неясно, где будут сохраняться выходные данные аналитики. Нужно ли сохранять вывод аналитики в какую-то БД? Или мы можем проводить аналитику в реальном времени через HTTP-запрос?
У нас есть огромное количество строк записей в хранилище таблиц Azure, которые будут перемещены в Azure Data Lake. Для этого сценария это хороший вариант или мы можем использовать решение на основе аналитики из самого хранилища таблиц Azure.
Пожалуйста поделитесь своими мыслями
