Ограничения запросов к таблице Azure с ExecuteQuerySegmentedAsync и ExecuteQuery

Каковы пределы вызова ExecuteQuery()? Например, ограничения на количество объектов и размер загрузки.

Другими словами, когда описанный ниже метод достигнет своих пределов?

 private static void ExecuteSimpleQuery(CloudTable table, string partitionKey, string startRowKey, string endRowKey)
        {
            try
            {
                // Create the range query using the fluid API 
                TableQuery<CustomerEntity> rangeQuery = new TableQuery<CustomerEntity>().Where(
                    TableQuery.CombineFilters(
                            TableQuery.GenerateFilterCondition("PartitionKey", QueryComparisons.Equal, partitionKey),
                            TableOperators.And,
                            TableQuery.CombineFilters(
                                TableQuery.GenerateFilterCondition("RowKey", QueryComparisons.GreaterThanOrEqual, startRowKey),
                                TableOperators.And,
                                TableQuery.GenerateFilterCondition("RowKey", QueryComparisons.LessThanOrEqual, endRowKey))));

                foreach (CustomerEntity entity in table.ExecuteQuery(rangeQuery))
                {
                    Console.WriteLine("Customer: {0},{1}\t{2}\t{3}", entity.PartitionKey, entity.RowKey, entity.Email, entity.PhoneNumber);
                }
            }
            catch (StorageException e)
            {
                Console.WriteLine(e.Message);
                Console.ReadLine();
                throw;
            }
        }

В приведенном ниже методе используется ExecuteQuerySegmentedAsync с TakeCount, равным 50, но как определяется 50, что, я думаю, определяется моими вопросами выше.

 private static async Task PartitionRangeQueryAsync(CloudTable table, string partitionKey, string startRowKey, string endRowKey)
        {
            try
            {
                // Create the range query using the fluid API 
                TableQuery<CustomerEntity> rangeQuery = new TableQuery<CustomerEntity>().Where(
                    TableQuery.CombineFilters(
                            TableQuery.GenerateFilterCondition("PartitionKey", QueryComparisons.Equal, partitionKey),
                            TableOperators.And,
                            TableQuery.CombineFilters(
                                TableQuery.GenerateFilterCondition("RowKey", QueryComparisons.GreaterThanOrEqual, startRowKey),
                                TableOperators.And,
                                TableQuery.GenerateFilterCondition("RowKey", QueryComparisons.LessThanOrEqual, endRowKey))));

                // Request 50 results at a time from the server. 
                TableContinuationToken token = null;
                rangeQuery.TakeCount = 50;
                int segmentNumber = 0;
                do
                {
                    // Execute the query, passing in the continuation token.
                    // The first time this method is called, the continuation token is null. If there are more results, the call
                    // populates the continuation token for use in the next call.
                    TableQuerySegment<CustomerEntity> segment = await table.ExecuteQuerySegmentedAsync(rangeQuery, token);

                    // Indicate which segment is being displayed
                    if (segment.Results.Count > 0)
                    {
                        segmentNumber++;
                        Console.WriteLine();
                        Console.WriteLine("Segment {0}", segmentNumber);
                    }

                    // Save the continuation token for the next call to ExecuteQuerySegmentedAsync
                    token = segment.ContinuationToken;

                    // Write out the properties for each entity returned.
                    foreach (CustomerEntity entity in segment)
                    {
                        Console.WriteLine("\t Customer: {0},{1}\t{2}\t{3}", entity.PartitionKey, entity.RowKey, entity.Email, entity.PhoneNumber);
                    }

                    Console.WriteLine();
                }
                while (token != null);
            }
            catch (StorageException e)
            {
                Console.WriteLine(e.Message);
                Console.ReadLine();
                throw;
            }
        }

Примеры приведены по ссылке ниже: https://github.com/Azure-Samples/storage-table-dotnet-getting-started


person Pingpong    schedule 13.01.2020    source источник


Ответы (1)


Для ExecuteQuerySegmentedAsync ограничение равно 1000. Это основано на ограничении REST API, согласно которому один запрос к службе таблиц может возвращать не более 1000 объектов (см.: https://docs.microsoft.com/en-us/rest/api/storageservices/query-timeout-and-pagination).

ExecuteQuery попытается вернуть все объекты, соответствующие запросу. Внутри он пытается получить максимум 1000 сущностей за одну итерацию и попытается получить следующий набор сущностей, если ответ от службы таблиц включает токен продолжения.

ОБНОВЛЕНИЕ

Если ExecuteQuery выполняет разбиение на страницы автоматически, кажется, что его проще использовать, чем ExecuteQuerySegmentedAsync. Почему я должен использовать ExecuteQuerySegmentedAsync? Как насчет размера загрузки? 1000 объектов независимо от их размеров?

С ExecuteQuery у вас нет возможности вырваться из цикла. Это становится проблематичным, когда в таблице много сущностей. У вас есть такая гибкость с ExecuteQuerySegmentedAsync. Например, предположим, что вы хотите загрузить все объекты из очень большой таблицы и сохранить их локально. Если вы используете ExecuteQuerySegmentedAsync, вы можете сохранять объекты в разных файлах.

Что касается вашего комментария о 1000 объектов независимо от размера, то ответ положительный. Пожалуйста, имейте в виду, что максимальный размер каждого объекта может составлять 1 МБ.

person Gaurav Mantri    schedule 13.01.2020
comment
Если ExecuteQuery выполняет разбиение на страницы автоматически, кажется, что его проще использовать, чем ExecuteQuerySegmentedAsync. Почему я должен использовать ExecuteQuerySegmentedAsync? Как насчет размера загрузки? 1000 объектов независимо от их размеров? - person Pingpong; 13.01.2020
comment
Мне нужно загрузить все данные из таблицы. У меня есть исключение тайм-аута в 2 минуты для запроса, инициированного ServiceBus, при использовании ExecuteQuery, что приводит к завершению работы приложения. Как решить проблему? - person Pingpong; 13.01.2020
comment
Можете ли вы задать отдельный вопрос для этого, пожалуйста? Включите код и любые исключения, которые вы получаете. - person Gaurav Mantri; 13.01.2020