Публикации по теме 'googlebot'
Случай серверного рендеринга (SSR) и невозможность сканирования роботом Googlebot
Случай серверного рендеринга (SSR) и невозможность сканирования роботом Googlebot
Была среда. Четверг и пятница обещали быть солнечными - идеальные пляжные дни, но потом, конечно ... Наш клиент обнаружил ошибку, как и в оптимальные пляжные дни. Проблема - Google не индексировал определенные страницы.
Прежде чем мы продолжим, следует отметить несколько моментов:
Страницы корректно загружались в браузере Страницы возвращали роботу Googlebot ошибку сервера 5xx Мы понятия не..
SEO новости и обновления 8 декабря 2017 г.
SEO новости и обновления 8 декабря 2017 г.
Я действительно очарован SEO-новостями и обновлениями на этой неделе от 8 декабря 2018 года.
Меня нисколько не удивляют откровения о том, что журналисты берут деньги за упоминание компаний, брендов или продуктов в своих материалах.
И целая куча вещей вокруг дампа Google, отображающего сканирование AJAX, а также избранные фрагменты и панели знаний, медленно заменяющие органические списки, пока не останется ни одного….
(Не забывайте SEO..
Вопросы по теме 'googlebot'
Как сделать содержимое Flex RIA доступным для поисковых систем, таких как Google?
Как сделать содержимое приложений Flex RIA доступным для Google, чтобы Google мог индексировать содержимое и отображать ссылки на нужные элементы в вашем Flex RIA. Рассмотрим интернет-магазин, созданный на Flex, где предлагаемые товары должны быть...
1461 просмотров
schedule
14.08.2022
Как кто-то может загрузить веб-сайт из кэша Google?
Друг случайно удалил базу данных своего форума. Что обычно не было бы большой проблемой, за исключением того факта, что он пренебрегал резервным копированием. 2 года контента просто ушли. Очевидно, он усвоил урок.
Однако хорошая новость...
7211 просмотров
schedule
08.06.2022
Как отправить обновление фотогалереи роботу Googlebot?
Как настроить перенаправления при обновлении фотогалерей на сайте?
Некоторые фотографии были удалены, поэтому Googlebot пока получает 404. Но ничто не заменит эти старые фотографии. Есть новые, похожие фото в той же теме, но не те.
Должен ли я...
59 просмотров
schedule
15.06.2023
Googlebot проверяет мои комментарии каждые 7 секунд
Не знаю, где еще спросить, но изо дня в день мой сайт Wordpress получает 500 спам-комментариев в день. Нет проблем, я добавил блокировщик спама. Сейчас я проверил посетителей своего сайта и заметил, что гуглбот проверяет /wp-comments-post.php 7 раз...
179 просмотров
schedule
26.02.2023
какой код статуса выдавать гугл боту
Google пробует разные структуры URL для моего сайта и пытается сканировать. Я могу увидеть их в моем инструменте для веб-мастеров при ошибках сканирования. Какой код состояния выдавать всем этим типам запросов от гугл-бота.
В настоящее время я...
196 просмотров
schedule
01.09.2022
Запретить Googlebot часто переиндексировать некоторые страницы
Мы можем изменить скорость сканирования ботов с помощью robots.txt. Но Googlebot не принимает во внимание robots.txt, поэтому я ищу альтернативный способ.
На моем сайте некоторые страницы очень часто меняются с небольшими изменениями. Скажем...
171 просмотров
schedule
15.05.2022
Исключить элементы из фрагмента кода Google?
У меня есть интернет-магазин на Magento. У меня есть метаописания и ключевые слова для всех страниц.
Проблема в том, что в Google многие фрагменты показывают только небольшой фрагмент метаописания, а затем показывают пару продуктов с этой...
200 просмотров
schedule
27.04.2023
Тег ‹noindex› для Google
Я хотел бы сказать Google, чтобы он не индексировал определенные части страницы. В Яндексе есть очень полезный тег <noindex> . Как это можно сделать с помощью Google?
21094 просмотров
schedule
28.03.2023
Как скрыть сайт Drupal от Google?
У меня есть сайт, и я использую Drupal для CMS. т.е. я пишу статьи в mysite.com/drupal/ , но отображаю их в mysite.com/show_article.php?article_id=x&article_name=y (на самом деле mysite.com/article/x/y с .htaccess RewriteRule), загружая...
313 просмотров
schedule
25.01.2024
Всегда ли робот Googlebot и другие пауки извлекают самый свежий контент?
Я понимаю, что использование следующих метатегов предотвратит кеширование для веб-браузеров, но не для прокси:
<META HTTP-EQUIV="PRAGMA" CONTENT="NO-CACHE">
<META HTTP-EQUIV="CACHE-CONTROL" CONTENT="NO-CACHE">
Однако использование...
251 просмотров
schedule
11.06.2022
Выполняет ли бот Google запросы AJAX, которые привязаны к обработчику onclick?
Допустим, у меня есть страница с несколькими кнопками с обработчиками кликов JavaScript, которые выполняют запросы AJAX и вставляют возвращенный HTML-код на сайт.
Ничего из этого не происходит автоматически при загрузке. Кнопки надо нажимать....
3284 просмотров
schedule
28.09.2022
диапазон IP-адресов в белом списке modsecurity
Я пытаюсь внести в белый список ряд ips (ботов Google) в modsecurity на сервере Ubuntu 12.04. Например, вот диапазон, который мне нужно внести в белый список:
66.249.64.0/19
Я пробовал несколько способов, предложенных другими, но блокируются...
12078 просмотров
schedule
03.02.2023
Метафайлы роботов и robots.txt
Я использую условный оператор в своем заголовке php, чтобы исключить некоторые файлы из списка robots. Однако временно я должен заблокировать некоторые из этих страниц, потому что мой сайт не работает. На этом этапе я использовал robots.txt, чтобы...
95 просмотров
schedule
05.08.2022
Индексирует ли робот Googlebot ссылки, расположенные на страницах, заблокированных файлом robots.txt?
Мои файлы robots.txt:
User-agent: googlebot
disallow: /xxx/y.html
y.html содержит множество ссылок, таких как «/mmm/a.html» и «/asd/b.html».
Мой вопрос, будет ли Google индексировать "/mmm/a.html" и "/asd/b.html"?
Эти ссылки находятся...
129 просмотров
schedule
23.04.2023
Можно ли использовать элементы span в элементах div?
Я делаю сайт с личными статьями. Основная часть моих статей представляет собой базовый div , содержащий абзацы, но недавно я обнаружил, что полезно использовать некоторые span вне абзацев, чтобы управлять своим содержанием по желанию,...
72 просмотров
schedule
28.06.2022
GoogleBot (и вредоносные сайты) запрашивают неверный каталог
GoogleBot запрашивает действительные файлы из недопустимого каталога, которого никогда не существовало. Например:
/energy/
добавляется к допустимому пути и файлу для создания:
/energy/css/example.css
Как ни странно,...
43 просмотров
schedule
11.01.2023
Google maps API файл robots.txt блокирует сканирование
Я использовал Google Maps, Places, Directions javascript API в своем веб-приложении. Приложение загружает разные места на основе пользовательского ввода, выполняя ajax-вызов API Google. К счастью, в последнее время Google может сканировать ajax....
4442 просмотров
schedule
09.01.2024
fail2ban заставляет меня забанить Google из-за / пересылать в моем журнале
В моем журнале apache много чего такого:
<IP ADDRESS> - - <DATE> "GET /forward?path=http://vary_bad_link_not_for_children" <NUM1> <NUM2> "-" <String>
‹NUM1›: 302 или 404
‹NUM2›: 5XX, 6XX или 11XX
:...
979 просмотров
schedule
25.02.2023
Google Crawler не может сканировать URL-адреса с пробелами
Консоль поиска Google сообщает, что URL-адреса с пробелами соответствуют ответу 404. Он сообщает, что источником таких неполных URL-адресов является карта сайта. Но, проверив карту сайта, единственное, что общего в таких URL-адресах, это то, что...
163 просмотров
schedule
19.12.2022
Тестер Google Bot Robots.txt не работает
txt тестер не работает в моем случае. У меня есть следующие строки в robots.txt.
Но в тестере, если я тестирую wp-admin, инструменты показывают разрешенные. Я не знаю, почему? пожалуйста, помогите мне, как запретить wp-admin
User-Agent:...
262 просмотров
schedule
19.09.2022
