Удаление всего сайта из индекса Google

Мой URL: http://LawMirror.com - (юридические ресурсы в Интернете)

Я хочу удалить содержимое из индекса Google. Индекс Google включает в себя мои веб-сайты огромное количество страниц, которые ранее были проиндексированы в индексе Google примерно на 5 000 000 страниц, но теперь осталось 3 025 000 страниц. Мой URL: http://LawMirror.com - (юридические ресурсы в Интернете)

Я хочу удалить содержимое из индекса Google. Индекс Google включает в себя мои веб-сайты огромное количество страниц, которые ранее были проиндексированы в индексе Google примерно на 5 000 000 страниц, но теперь осталось 3 025 000 страниц.

Я сделал следующее, но удаление страниц происходит очень медленно.

Robots.txt

Пользовательский агент: * Disallow: /

.htaccess

rewriteengine on
rewritecond %{HTTP_USER_AGENT} ^.*Googlebot/2.1.*$
rewriterule .* - [G]

Это контент, возвращаемый роботу Googlebot, когда он пытается его просканировать.

HTTP / 1.1 410 Gone Дата: Сб, 5 января 2013 12:39:23 GMT Сервер: Apache / 2.2.23 (Unix) mod_ssl / 2.2.23 OpenSSL / 0.9.8e-fips-rhel5 mod_fastcgi / 2.4.6 mod_jk / 1.2 .37 mod_auth_passthrough / 2.1 mod_bwlimited / 1.4 FrontPage / 5.0.2.2635 PHP / 5.3.19 Content-Length: 661 Connection: close Content-Type: text / html; кодировка = iso-8859-1

Я также использовал метатег html noindex, без следования, но без эффекта, как:

I had also submitted for website removal but the speed of removing of contents is very slow. In last 35 days the only few are pages are removed. My website is also removed from Google Search Index but Google Webmasters - Health -> Index status still showing 3,025,000 page and If I re-submit the site they will show already indexed pages. How can I increase the speed to remove pages.

Это контент, возвращаемый роботу Googlebot, когда он пытается его просканировать.

HTTP/1.1 410 Gone
Date: Sat, 05 Jan 2013 12:39:23 GMT
Server: Apache/2.2.23 (Unix) mod_ssl/2.2.23 OpenSSL/0.9.8e-fips-rhel5 mod_fastcgi/2.4.6 mod_jk/1.2.37 mod_auth_passthrough/2.1 mod_bwlimited/1.4 FrontPage/5.0.2.2635 PHP/5.3.19
Content-Length: 661
Connection: close
Content-Type: text/html; charset=iso-8859-1

Я также использовал метатег html noindex, без следования, но без эффекта, как:

<meta name="googlebot" content="noindex,nofollow">

Я также подавал заявку на удаление веб-сайта, но скорость удаления содержимого очень низкая. За последние 35 дней были удалены только несколько страниц. Мой веб-сайт также удаляется из индекса поиска Google, но Google Webmasters - Health -> Index status все еще показывает 3 025 000 страниц, и если я повторно отправлю сайт, они будут отображать уже проиндексированные страницы. Как увеличить скорость удаления страниц.


person Vineet1982    schedule 16.05.2011    source источник


Ответы (1)


Одно из решений - возвращать 410 каждый раз, когда запрашивается страница. Это ускорит деиндексирование. Убедитесь, что в вашем robots.txt.

person Jérôme Verstrynge    schedule 09.09.2015
comment
Используя Disallow: /, вы не позволяли ботам получать доступ к страницам, и они не видели 410. Вот почему ваши страницы медленно деиндексировались. В противном случае все было бы намного быстрее. Пожалуйста, прочтите мой ответ, я сказал, что никакие страницы не должны блокироваться в вашем robots.txt. - person Jérôme Verstrynge; 10.09.2015