Вопросы по теме 'u-sql'
Контроль распараллеливания
Я запускаю пользовательский процессор в наборе строк, который, похоже, не работает параллельно. Базовый текстовый файл объемом ~ 1 ГБ сначала считывается в таблицу, которая разбита на разделы с помощью циклического перебора. «Извлечение» выполняется...
86 просмотров
schedule
21.01.2023
Запись SQL в запрос U-SQL
Может ли кто-нибудь помочь мне в написании этого ниже SQL на языке U-SQL, используемом в Azure Data Lake.
select tt.userId, count(tt.userId) from (SELECT userId,count(userId) as cou
FROM [dbo].[users]
where createdTime>...
1972 просмотров
schedule
27.10.2022
Каков максимально допустимый размер строки в U-SQL?
при обработке файла CSV я получаю сообщение об ошибке максимального размера строки. «Размер строки превышает максимально допустимый размер».
1859 просмотров
schedule
17.03.2023
Нужно получить n процентов строк в запросе u-sql
Нужна помощь в написании запроса u-sql, чтобы получить первые n процентов строк. У меня есть один набор данных, из которого нужно взять общее количество строк и взять верхние 3% строк из набора данных на основе col1. Код, который я написал:...
679 просмотров
schedule
01.12.2022
Использовать информацию из настраиваемого экстрактора в настраиваемом устройстве вывода
Я реализовал собственный экстрактор для файлов NetCDF, и теперь я пытаюсь реализовать настраиваемый модуль вывода для файлов NetCDF. При извлечении из файлов NetCDF и выводе в них в выходном устройстве мне нужно использовать некоторую структурную...
81 просмотров
schedule
01.02.2023
Как использовать подзапрос в USQL?
Я получаю ошибку компиляции при использовании следующего запроса в u-sql:
@CourseDataExcludingUpdatedCourse = SELECT * FROM @CourseData AS cd
WHERE cd.CourseID NOT IN (SELECT CourseID FROM @UpdatedCourseData);
Это не позволяет мне...
2392 просмотров
schedule
20.11.2022
Пропустить строку по префиксу
Я пытался использовать Azure Data Lake Analytics для анализа большой группы файлов журналов IIS. Пока я могу заставить это работать для одного файла в лучшем случае, используя что-то вроде этого:
@results =
EXTRACT
s_date DateTime,...
62 просмотров
schedule
11.04.2023
Оператор извлечения U-SQL — работа с сотнями столбцов
Есть ли способ в операторе извлечения U-SQL указать только те входные столбцы, которые мне нужны? Я работаю с устаревшей базой данных, которая экспортирует несколько таблиц в csv, содержащую около 200 столбцов. Меня волнуют только 10 из этих полей....
1220 просмотров
schedule
05.05.2023
Поддерживает ли U-SQL извлечение файлов на основе даты создания в ADLS?
Мы знаем, что U-SQL поддерживает сопоставление шаблонов каталогов и имен файлов при извлечении файлов. Что я хотел знать, поддерживает ли он сопоставление с образцом на основе даты создания файла в ADLS (без реализации пользовательских экстракторов)....
728 просмотров
schedule
28.02.2023
Запуск сценария U-SQL из кода C # с фабрикой данных Azure
Я пытаюсь запустить сценарий U-SQL в Azure с помощью кода C #. Все создается в Azure (ADF, связанные службы, конвейеры, наборы данных) после выполнения кода, но сценарий U-SQl не выполняется ADF. Я думаю, что есть проблема с startTime и end Time,...
1483 просмотров
schedule
30.05.2022
Как подавить возврат строки в U-SQL IProcessor
Я должен подавить возврат строки на основе условия в IProcessor в U-SQL, как указано в документации. Процессор работает с строкой за раз и создает ноль или одну строку.
Я не могу понять, что упомянуть в операторе возврата IProcessor для достижения...
74 просмотров
schedule
06.07.2022
Где хранятся базы данных Azure Data Lake Analytics?
Я создал базу данных с некоторыми таблицами с помощью сценария U-SQL, запущенного с помощью инструментов Azure Data Lake для Visual Studio (см. Снимок экрана ниже). Эта база данных хранится в Data Lake Store?
Файловая структура, показанная на...
354 просмотров
schedule
22.08.2022
U-SQL Inner Join создает огромный большой файл записи
Все -
У меня есть некоторые проблемы с объединением таблиц ADLA и их загрузкой в Azure SQL DW.
Я застрял на одном из процессов загрузки и не знаю, как решить эту проблему. У меня есть некоторая информация о покупке, которая, когда я извлекаю...
154 просмотров
schedule
28.02.2023
Граф вершин U-SQL не показывает ROW_COUNT на вершину
Граф вершин U-SQL не показывает ROW_COUNT на вершину по крайней мере с понедельника, 17 апреля. См. рисунок ниже.
54 просмотров
schedule
15.05.2023
u-sql: загрузка файлов в скрипт u-sql
У меня есть тысячи CSV-файлов, содержащих период с января 2016 года по сегодняшний день. Я хочу загрузить все файлы с 25 ноября 2016 года по 02 января 2017 года.
Я знаю, что могу использовать виртуальный путь, как показано ниже, но не загрузит ли...
163 просмотров
schedule
04.05.2024
Создание дат в диапазоне дат с помощью U-SQL
Мне нужно заполнить набор строк всеми датами между определенной датой начала и датой окончания. Если моя начальная дата — 19.07.2017, а конечная — 21.07.2017, тогда набор строк должен содержать 19.07.2017, 20.07.2017 и 21.07.2017.
Мне было...
945 просмотров
schedule
05.07.2022
DataLake Analytics USQL: не удалось сравнить два элемента в массиве
Я создал базу данных в Data Lake Analytics. Затем заполняется данными из файлов в моем озере данных. Когда я затем запрашиваю таблицу, которую я сделал, у меня есть некоторый успех, но некоторые странные ошибки. (Странно для меня!)
Это работает:...
174 просмотров
schedule
03.05.2023
Вложение TVF и запросов USQL дает ужасные результаты
Я «думаю», что эта проблема связана с оптимизацией запросов, которую выполняет Azure Data Lake Analytics; но посмотрим...
У меня есть 2 отдельных запроса (TVF), выполняющих агрегацию, а затем окончательный запрос, чтобы объединить 2 вместе для...
147 просмотров
schedule
17.12.2022
Полное извлечение файлов U-SQL (извлечение полного исходного кода из файлов html)
У меня есть куча HTML-файлов в моем Data Lake Store, и я хотел бы получить их полный исходный код в виде таблицы (всего одна колонка с кодом из всех файлов, формат вывода для меня не актуален, но, вероятно, tsv ). Я не могу найти способ использовать...
349 просмотров
schedule
22.05.2024
Как я могу подключиться к Azure Data Lake Analysis с помощью хранилища BLOB-объектов Azure
Привет, я анализирую системный журнал с помощью Azure Data Lake Analysis.
И у меня возникла проблема, связанная с подключением хранилища BLOB-объектов из Data Lake Analysis (U-SQL).
Этот U-SQL показывает, что прочитанный файл из хранилища...
1095 просмотров
schedule
09.04.2024
