Вопросы по теме 'azure-synapse'
Избегайте дублирования при параллельном выполнении задания в Azure Synapse
Нужны ваши предложения по разработке кода в Azure Synapse.
У нас есть требование, при котором наши задания будут выполняться параллельно в одно и то же время и вставлять данные в одну и ту же таблицу. Во время этой вставки есть изменения, что...
287 просмотров
schedule
06.07.2022
Данные концентраторов событий в хранилище данных SQL (Synapse)
мы пытаемся интегрировать данные концентратора событий (EH) (~ 200 МБ и 50 тыс. сообщений в минуту) в промежуточную область хранилища данных SQL (DW).
До сих пор мы пытались решить эту проблему, напрямую считывая данные EH с помощью функции Azure...
580 просмотров
schedule
27.05.2022
Распространение реплицированной таблицы для небольшого измерения в хранилище данных SQL (Azure Synapse) с 1 вычислительным узлом
Microsoft предоставляет руководство по проектированию реплицированных распределений таблиц в SQL DW, но мне не ясно, есть ли преимущества у этого типа распределения для небольших уровней обслуживания (sub DW1000), где выделяется только один...
420 просмотров
schedule
30.03.2023
Azure Synapse SQL: параметр безопасности для SQLOnDemand
SQL по запросу
Применимо ли Daynamic Data Masking, Row Level Security и RBAC (или на основе ролей) к запросам SQL по запросу или доступу к данным из NoteBooks?
Есть ли ссылки на официальный документ, подтверждающий это?
143 просмотров
schedule
16.04.2023
Логические представления в файле озера данных Azure
У меня есть требование классифицировать данные PII и не PII из файла Azure Data Lake Gen 1. Поскольку я не хочу дублировать создание физического файла в озере данных, можем ли мы создавать логические представления в озере данных, предпочтительно...
141 просмотров
schedule
23.04.2023
Триггер большого двоичного объекта функции Azure для вложенных папок
У меня есть папка-контейнер, в которой много подпапок (около 3000), файл может попасть в любую из подпапок. Мне нужно отреагировать на каплю, добавленную в подпапку. Я до сих пор не могу понять, как создать триггер большого двоичного объекта, если...
476 просмотров
schedule
21.07.2023
Как решить проблему чрезмерных затрат на запись больших двоичных объектов Azure ADF / Databricks в Data Lake Gen2
Я сравниваю разные способы загрузки пара файлов JSON в Data Lake Gen 2 с паркетными файлами, но в каждом протестированном сценарии затраты на хранение больших двоичных объектов являются чрезмерными, прогнозируемыми в тысячи долларов в месяц из-за...
212 просмотров
schedule
25.03.2023
копировать файлы больших двоичных объектов в лазурный синапс с помощью ADF
Мои исходные файлы находятся в хранилище BLOB-объектов Azure в формате CSV.
Я хочу, чтобы эти файлы были распакованы и переместились в синапс Azure с помощью ADF. В источнике активности копирования я дал вход для хранилища BLOB-объектов, а в...
111 просмотров
schedule
31.07.2023
Задачи - создание сценариев в Azure Synapse Serverless SQL
Я работаю с экземпляром SQL Azure Synapse Serverless, подключенным через самую последнюю версию SSMS. У меня есть несколько внешних таблиц, определенных для паркетных файлов в Azure Data Lake (Gen2).
У меня вопрос: как использовать типичные...
401 просмотров
schedule
23.01.2023
Как мы можем параметризовать задания Azure Synapse Spark?
Пользовательский интерфейс Spark Jobs в Azure Synapse имеет возможность передавать аргументы командной строки в базовый код, но, похоже, нет никакой возможности параметризовать эти аргументы.
Точно так же действие «Определение задания Spark» в Azure...
192 просмотров
schedule
23.06.2023
Как создать триггеры для конкретных пользователей или ролей в AZURE DW или синапсе Azure?
Есть ли способ создать триггеры для конкретных пользователей или ролей в Azure Synapse или Azure DW?
121 просмотров
schedule
03.10.2022
Где находится документация ARM / Terraform для Azure Synapse Pipeline, определения задания Spark и т. Д.
Я хочу развернуть конвейер Synapse, который содержит определение Spark Job, действия и т. Д. С помощью сценария terraform или шаблона ARM. Но я не нашел для этого никакой документации. Я нашел для конвейера фабрики данных:...
157 просмотров
schedule
05.04.2023
Идентификаторы/значения группы, которые связаны друг с другом между несколькими столбцами
Я хочу сгруппировать идентификаторы, связанные друг с другом, между несколькими столбцами и создать/назначить уникальный идентификатор группы.
Кроме того, если мы получим новую строку, мы можем назначить правильный идентификатор с учетом того, что...
78 просмотров
schedule
18.04.2023
Конвейер аналитики Azure Synapse - какой диапазон IP-адресов?
Я пытаюсь настроить конвейер ELT для извлечения исходных данных из базы данных mySQL в Synapse с помощью инструмента копирования данных. Исходная база данных mySQL управляется третьей стороной, которая требует от меня предоставить адрес (диапазон)...
139 просмотров
schedule
09.06.2023
Использование дельта-таблиц в выделенных / бессерверных пулах SQL Azure Synapse
В настоящее время я работаю младшим разработчиком данных и недавно увидел сообщение о том, что Azure Synapse теперь может создавать таблицы SQL из таблиц Delta. Я попытался создать таблицу SQL из таблицы Delta, которая находится внутри Delta lake...
1478 просмотров
schedule
26.04.2022
Доступ к Azure Synapse Analytics из функции Node.js
Я пытаюсь получить доступ к пулу SQL Azure Synapse из функции Node.js. Я взял это статья в качестве основы и переключите метод аутентификации на "azure-active-directory-msi-app-service".
Если я запускаю функцию, я вижу quertyText context.log в...
165 просмотров
schedule
22.12.2022
