Что я понял о хранилище BLOB-объектов Windows Azure, так это то, что оно простое. Как в чрезвычайно скелете. Вы должны использовать его только для хранения документов и связанных метаданных, а затем для получения отдельных больших двоичных объектов по идентификатору.

Недавно я перенес приложение из MongoDB в хранилище BLOB-объектов Windows Azure. Исходя из MongoDB, я ожидал множества различных эффективных способов извлечения документов. После миграции я теперь полагаюсь на традиционную СУБД и ElasticSearch для хранения информации о больших двоичных объектах в более удобной для поиска форме.

Очень жаль, что хранилище BLOB-объектов Windows Azure настолько ограничено. Я надеюсь увидеть в будущем много-расширенных возможностей поиска (например, поиск по метаданным, свойству, регулярному выражению имени большого двоичного объекта и т. Д.). Кроме того, были бы великолепны индексы на основе map / reduce. У Microsoft есть шанс переубедить многих людей из других систем хранения документов, если они сделают это.

Метод ListBlobs извлекает большие двоичные объекты в этом контейнере лениво. Таким образом, вы можете писать запросы к этому методу, которые не выполняются до тех пор, пока вы не зациклите (или не материализуете объекты с помощью ToList или какого-либо другого метода) список.

Несколько примеров прояснят ситуацию. Для тех, кто не знает, как получить ссылку на контейнер в своей учетной записи хранения Azure, я рекомендую этот руководство.

Закажите по дате последнего изменения и возьмите страницу номер 2 (10 капель на страницу):

blobContainer.ListBlobs().OfType<CloudBlob>()
         .OrderByDescending(b=>b.Properties.LastModified).Skip(10).Take(10);

Получите файлы определенного типа. Это будет работать, если вы установили ContentType во время загрузки (что я настоятельно рекомендую вам сделать):

blobContainer.ListBlobs().OfType<CloudBlob>()
         .Where(b=>b.Properties.ContentType.StartsWith("image"));

Получите файлы .jpg и отсортируйте их по размеру файла, предполагая, что вы задали имена файлов с их расширениями:

blobContainer.ListBlobs().OfType<CloudBlob>()
    .Where(b=>b.Name.EndsWith(".jpg")).OrderByDescending(b=>b.Properties.Length);

Наконец, запрос не будет выполнен, пока вы не сообщите ему:

var blobs = blobContainer.ListBlobs().OfType<CloudBlob>()
                          .Where(b=>b.Properties.ContentType.StartsWith("image"));

foreach(var b in blobs) //This line will call the service, 
                        //execute the query against it and 
                        //return the desired files
{
   // do something with each file. Variable b is of type CloudBlob
}

Редактировать

Теперь в предварительной версии индекс BLOB-объектов для хранилища Azure, который представляет собой управляемый индекс метаданных, которые вы можете добавить в свои BLOB-объекты (новые или существующие). Это избавит от необходимости использовать имена творческих контейнеров для псевдоиндексирования или самостоятельно поддерживать вторичный индекс.

Оригинальный ответ

Для возврата конкретных результатов одним из возможных вариантов является использование префикса blob и / или контейнера для эффективного индексирования того, что вы храните. Например, вы можете префикс даты и времени при добавлении BLOB-объектов или префикса пользователя, в зависимости от вашего варианта использования, как вы хотите проиндексировать свои BLOB-объекты. Затем вы можете использовать этот префикс или его часть в вызове ListBlobs [Segmented] для возврата конкретных результатов, очевидно, вам нужно сначала поместить самые общие элементы, а затем более конкретные элементы, например:

2016_03_15_10_15_blobname

Это позволит вам получать все капли за 2016 год или за мартовские 2016 года и т. Д., Но не за мартовские капли в любой год без нескольких вызовов.

Обратной стороной этого является то, что если вам нужно повторно проиндексировать большие двоичные объекты, вам придется удалить и воссоздать их с новым именем.

Для разбиения на страницы обычно можно использовать метод ListBlobsSegmented, который даст вам токен продолжения, который можно использовать для реализации разбиения на страницы. Тем не менее, это не очень полезно, если вам нужно пропускать страницы, поскольку он работает только с того места, где остановился последний набор фактических результатов. Один из вариантов - рассчитать количество страниц, которые вам нужно пропустить, получить их и отбросить, а затем получить фактическую страницу, которую вы хотите. Если у вас много капель в каждом контейнере, это может довольно быстро стать неэффективным ...

Вы также можете использовать это как метод восстановления после сбоя, используя постраничный подход и сохраняя токен продолжения, если пользователь последовательно щелкает одну страницу на следующую, ИЛИ вы можете потенциально кэшировать имена больших двоичных объектов и выполнять свою собственную разбивку по страницам.

Вы также можете комбинировать эти два подхода, например фильтрация по вашему индексу, а затем поиск результатов.

Azure Data Lake Gen 2 будет поддерживать поиск данных, хранящихся в озере данных, с помощью USQL. Для хранения и извлечения этих данных можно использовать API-интерфейсы хранилища BLOB-объектов.

U-SQL в настоящее время не поддерживает интерактивные запросы / поиск.

Для моего варианта использования я планирую использовать хранилище BLOB-объектов Azure для получения преимущества с низкой стоимостью и для каждого нового события создания файла BLOB-объекта запускать функции Azure для преобразования данных в большом двоичном объекте для передачи обработанных выходных данных в Azure Cosmos DB или RDBMS (которая поддерживает запросы ).

Просто настройте параметры диагностики из своего ресурса, чтобы файлы сохранялись в рабочей области Log Analytics, и все будет в порядке. Я знаю, что этот пост довольно старый, но похоже, что он все еще индексируется по аналогичным вопросам.

Журнал аналитики

Наткнулся здесь, ища другие варианты, кроме тегов для сравнения, и, по крайней мере, с REST api, похоже, он теперь встроен.

Операция «Найти большие двоичные объекты по тегам» находит все большие двоичные объекты в учетной записи хранения, теги которых соответствуют заданному поисковому выражению.

https://docs.microsoft.com/en-us/rest/api/storageservices/find-blobs-by-tags

Вы можете добавлять теги при загрузке большого двоичного объекта.