Публикации по теме 'azure-data-lake'
Хранилище данных, озеро данных или хранилище данных, что выбрать?
Это один из самых частых вопросов, который задают многие специалисты по данным!! Ответ заключается во многих факторах, но в этой статье мы рассмотрим некоторые ключевые факторы, которые помогут нам оценить правильное решение.
Ниже приведены некоторые ключевые факторы, которые нам необходимо учитывать, прежде чем выбрать какое-либо решение.
размер собираемых данных , разнообразие форматов данных и типов , скорость , с которой данные генерируются, производятся , создано или..
Вопросы по теме 'azure-data-lake'
Контроль распараллеливания
Я запускаю пользовательский процессор в наборе строк, который, похоже, не работает параллельно. Базовый текстовый файл объемом ~ 1 ГБ сначала считывается в таблицу, которая разбита на разделы с помощью циклического перебора. «Извлечение» выполняется...
86 просмотров
schedule
21.01.2023
использование Azure Data Lake для аналитики
В настоящее время в рамках наших требований мы работаем с указанными ниже компонентами Azure.
Центр событий Azure
Azure Stream Analytics
Хранилище таблиц Azure
База данных SQL Azure
По сути, с первыми тремя компонентами мы...
1197 просмотров
schedule
29.06.2023
Время ожидания авторизации: конфигурация хранилища озера данных Azure в фабрике данных Azure
Мы перемещаем данные из хранилища таблиц Azure в хранилище озера данных Azure с помощью фабрики данных. В рамках добавления связанной службы, которая подключается к Azure Data Lake Store.
{
"name": "AzureDataLakeStoreLinkedService",...
502 просмотров
schedule
18.04.2024
Как получить доступ к данным Azure с помощью API webhdfs
Мы только начинаем оценивать службу datalake в Azure. Мы создали озеро, и через портал мы можем видеть два общедоступных URL-адреса службы. (Одна - схема https: //, другая - схема adl: //)
В документации datalake указано, что действительно...
2427 просмотров
schedule
24.01.2024
Каков максимально допустимый размер строки в U-SQL?
при обработке файла CSV я получаю сообщение об ошибке максимального размера строки. «Размер строки превышает максимально допустимый размер».
1859 просмотров
schedule
17.03.2023
Нужно получить n процентов строк в запросе u-sql
Нужна помощь в написании запроса u-sql, чтобы получить первые n процентов строк. У меня есть один набор данных, из которого нужно взять общее количество строк и взять верхние 3% строк из набора данных на основе col1. Код, который я написал:...
679 просмотров
schedule
01.12.2022
Интеграция Azure CDN с хранилищем Azure Data Lake.
Как продолжить интеграцию Azure CDN для чтения/выбора файлов, хранящихся в хранилище Azure Data Lake?
125 просмотров
schedule
13.12.2022
Azure Lake Store: отсутствует Access-Control-Allow-Origin в заголовке ответа
При попытке вызвать пространство хранилища Azure Data Lake и перечислить все каталоги, он не может вернуть какие-либо результаты во время отсутствия CORS. Проблема в том, что я не могу найти способ предоставить Azure DatalakeStore политику CORS (не то...
314 просмотров
schedule
24.04.2023
Использовать информацию из настраиваемого экстрактора в настраиваемом устройстве вывода
Я реализовал собственный экстрактор для файлов NetCDF, и теперь я пытаюсь реализовать настраиваемый модуль вывода для файлов NetCDF. При извлечении из файлов NetCDF и выводе в них в выходном устройстве мне нужно использовать некоторую структурную...
81 просмотров
schedule
01.02.2023
Как скопировать файлы больших двоичных объектов Azure в Azure Data Lake Analytics
Есть ли способ создать задание или службу Azure в Azure для перемещения (вырезания) файлов больших двоичных объектов Azure в хранилище озера данных Azure?
1011 просмотров
schedule
22.07.2023
Как использовать подзапрос в USQL?
Я получаю ошибку компиляции при использовании следующего запроса в u-sql:
@CourseDataExcludingUpdatedCourse = SELECT * FROM @CourseData AS cd
WHERE cd.CourseID NOT IN (SELECT CourseID FROM @UpdatedCourseData);
Это не позволяет мне...
2392 просмотров
schedule
20.11.2022
Пропустить строку по префиксу
Я пытался использовать Azure Data Lake Analytics для анализа большой группы файлов журналов IIS. Пока я могу заставить это работать для одного файла в лучшем случае, используя что-то вроде этого:
@results =
EXTRACT
s_date DateTime,...
62 просмотров
schedule
11.04.2023
Запуск сценария U-SQL из кода C # с фабрикой данных Azure
Я пытаюсь запустить сценарий U-SQL в Azure с помощью кода C #. Все создается в Azure (ADF, связанные службы, конвейеры, наборы данных) после выполнения кода, но сценарий U-SQl не выполняется ADF. Я думаю, что есть проблема с startTime и end Time,...
1483 просмотров
schedule
30.05.2022
Где хранятся базы данных Azure Data Lake Analytics?
Я создал базу данных с некоторыми таблицами с помощью сценария U-SQL, запущенного с помощью инструментов Azure Data Lake для Visual Studio (см. Снимок экрана ниже). Эта база данных хранится в Data Lake Store?
Файловая структура, показанная на...
354 просмотров
schedule
22.08.2022
Секрет клиента аутентификации между сервисами Azure Data Lake, AdalServiceException и WebException
Я хочу использовать приведенные ниже документы, чтобы настроить и запустить мое консольное приложение, которое я планирую перенести в Функции Azure. https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-get-started-net-sdk
В...
1744 просмотров
schedule
14.04.2022
Где я могу найти хороший предварительный просмотр данных диалога в ADLA Tools?
Я установил VS 2015 sp3 + ADLA Tools 2.2.5000.0.
Когда я нажимаю Cloud Explorer -> Выбрать таблицу U-SQL -> Предварительный просмотр путем запуска задания, он запускает задание U-SQL, которое извлекает некоторые данные в файл csv, а затем я могу...
29 просмотров
schedule
10.01.2023
Копирование файла из FTP-сервера в Azure DataLake
Я выполнил все шаги, указанные в документации MSDN, до Скопировать файл с FTP .
Пока что созданы наборы данных, созданы связанные серверы, создан конвейер. Схема конвейера показывает логический поток. Однако, когда я планирую ADF, чтобы сделать...
1142 просмотров
schedule
13.04.2022
Поддержка пакетной службы Azure для связанной службы Data Lake Store
Я использую конвейер фабрики данных с настраиваемым действием (настроенным для работы в пакетной службе Azure), который имеет набор входных и выходных данных хранилища озера данных. Связанная служба хранилища озера данных использует службу...
596 просмотров
schedule
01.03.2023
Граф вершин U-SQL не показывает ROW_COUNT на вершину
Граф вершин U-SQL не показывает ROW_COUNT на вершину по крайней мере с понедельника, 17 апреля. См. рисунок ниже.
54 просмотров
schedule
15.05.2023
В чем разница между Hadoop webhdfs и Azure webhdfs
Hadoop webhdfs: https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/WebHDFS.html
Azure webhdfs: https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview
399 просмотров
schedule
01.06.2022
