XML-файлы Sitemap для крупных веб-сайтов

Как большие веб-сайты справляются с тысячами старых URL-адресов, которые удаляются каждый день? особенно когда веб-сайт перенаправляет на настраиваемую страницу ошибки при переходе по неработающему URL-адресу вместо того, чтобы выдавать страницу с ошибкой 404. (Я читал, что сканеры поисковых систем не учитывают URL-адреса, которые выдают страницу с ошибкой 404)


person chuckyCheese    schedule 05.11.2010    source источник


Ответы (1)


Если страница удалена, я настоятельно рекомендую вам сделать так, чтобы ваша «настраиваемая страница ошибок» действительно возвращала HTTP-заголовок «410 Gone».

person philfreo    schedule 05.12.2010
comment
Если он был удален, это должно быть 410 Gone, а не 404 Not Found - person Quentin; 06.12.2010