Неполный HttpWebResponse с большими наборами данных

У меня есть код, который загружает содержимое веб-страницы, которую я использую некоторое время. Этот код работает нормально и никогда не вызывал проблем и до сих пор не... Однако есть довольно большая страница (2 МБ, без изображений) с 4 таблицами с 4, 20, 100, 600 строк соответственно и около 20 колонны широкие.

При попытке получить все данные он завершается без каких-либо явных ошибок или исключений, но возвращает только примерно до строки 60 в 4-й таблице - иногда больше, иногда меньше. Браузер завершает загрузку примерно за 20-30 секунд с постоянными, как бы сбросами, на страницу до завершения.

Я пробовал несколько решений от SO и искал без каких-либо результатов. Ниже приведен текущий код, но у меня есть: прокси, асинхронность, отсутствие тайм-аутов, ложное подтверждение активности...

Я не могу использовать WebClient (как еще одну надуманную попытку), потому что мне нужно войти в систему, используя файл cookie.

        HttpWebRequest pageImport = (HttpWebRequest)WebRequest.Create(importUri);
        pageImport.ReadWriteTimeout = Int32.MaxValue;
        pageImport.Timeout = Int32.MaxValue;
        pageImport.UserAgent = "User-Agent  Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3";
        pageImport.Accept = "Accept text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
        pageImport.KeepAlive = true;
        pageImport.Timeout = Int32.MaxValue;
        pageImport.ReadWriteTimeout = Int32.MaxValue;
        pageImport.MaximumResponseHeadersLength = Int32.MaxValue;

        if (null != LoginCookieContainer)
        {
            pageImport.CookieContainer = LoginCookieContainer;
        }

        Encoding encode = System.Text.Encoding.GetEncoding("utf-8");


        using (WebResponse response = pageImport.GetResponse())
        using (Stream stream = response.GetResponseStream())
        using (StreamReader reader = new StreamReader(stream, encode))
        {
            stream.Flush();
            HtmlRetrieved = reader.ReadToEnd();
        }

.net c# httpwebrequest screen-scraping httpwebresponse
person Tony Basallo    schedule 18.07.2011    source источник

Ответы (3)


arrow_upward
1
arrow_downward

Попробуйте читать по блокам вместо reader.ReadToEnd(); Просто чтобы дать вам представление:

// Направить поток на устройство чтения потока более высокого уровня с требуемым форматом кодирования. StreamReader readStream = новый StreamReader( ReceiveStream, encode ); Console.WriteLine("\nПоток ответа получен"); Char[] read = новый Char[256];

    // Read 256 charcters at a time.    
 int count = readStream.Read( read, 0, 256 );
    Console.WriteLine("HTML...\r\n");

while (count > 0) 
{
        // Dump the 256 characters on a string and display the string onto the console.
    String str = new String(read, 0, count);
    Console.Write(str);
    count = readStream.Read(read, 0, 256);
}
person George Mamaladze    schedule 18.07.2011

arrow_upward
0
arrow_downward

Я подозреваю, что это обрабатывается как параметр конфигурации на стороне сервера. Кстати, я думаю, что вы, возможно, неправильно устанавливаете свои свойства. Удалите «пользовательский агент» и «принять» из литералов как таковые:

pageImport.UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3";         
pageImport.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
person Brent Arias    schedule 18.07.2011

arrow_upward
0
arrow_downward

Хотя я все еще собираюсь попробовать предложенные предложения и изменю свой ответ, если он сработает, похоже, что в этом случае проблема заключается в прокси. Я встал перед прокси, и код работает как положено и намного быстрее.

Мне придется посмотреть на некоторые оптимизации прокси, так как этот код должен работать за прокси.

person Tony Basallo    schedule 18.07.2011