Как сказать Jekyll скрыть одну страницу от поисковых систем?

У меня есть веб-сайт, состоящий из моего общедоступного профиля, сделанного в Jekyll.

Он также содержит одну страницу, скажем, «details.html», которая содержит более личную информацию обо мне. Я хочу, чтобы эту страницу видели только те люди, которым я даю ссылку. В частности, я хотел бы скрыть это от поисковых систем.

Как мне лучше всего это сделать? Я слышал, что могу добавить файл robots.txt или добавить метатег nofollow или noindex.

  1. Какое здесь обычное решение?
  2. Если нужно добавить метатег, как мне добавить его только на одну страницу при стандартной настройке Jekyll?

jekyll noindex
person Alexander Engelhardt    schedule 02.11.2017    source источник
comment
как сказать Джекилу спрятаться... я единственный, кто находит это непреднамеренно забавным?   -  person Krythic    schedule 10.11.2017

Ответы (3)


arrow_upward
3
arrow_downward

robots.txt — это стандартный способ указать поисковым системам, что индексировать, а что нет (не только для Jekyll, но и для веб-сайтов в целом).

Просто создайте файл с именем robots.txt в корне вашего сайта Jekyll с путями, которые не должны индексироваться.

e.g.

User-agent: *
Disallow: /2017/02/11/post-that-should-not-be-indexed/
Disallow: /page-that-should-not-be-indexed/
Allow: /

Jekyll автоматически скопирует robots.txt в папку, в которой создается сайт.

Вы также можете протестировать свой robots.txt, чтобы убедиться, что он работает так, как вы ожидаете: https://support.google.com/webmasters/answer/6062598?hl=en

person C. Augusto Proiete    schedule 02.11.2017
comment
Но тогда обычный пользователь мог бы зайти на www.mysite.com/robots.txt и найти эти URL-адреса, верно? - person Alexander Engelhardt; 02.11.2017
comment
Хорошо. Это неоптимально, но не смертельно. Знаете ли вы, работает ли решение с метатегами? Что тогда будет стандартным приложением для этого тега? - person Alexander Engelhardt; 02.11.2017
comment
Решение с метатегами также будет работать с большинством поисковых систем (включая Google — support.google. .com/webmasters/answer/93710?hl=en), но вам нужно сделать одно или другое, а не оба. - person C. Augusto Proiete; 03.11.2017
comment
Из собственной документации Google: файл robots.txt сообщает поисковым роботам к каким URL-адресам на вашем сайте может получить доступ сканер. Это используется в основном для того, чтобы не перегружать ваш сайт запросами; это не механизм защиты веб-страницы от Google. Чтобы веб-страница не попадала в Google, заблокируйте индексирование с помощью noindex или защитите страницу паролем. - person bmaupin; 29.07.2021

arrow_upward
0
arrow_downward

Файл robots.txt — отличное решение, но .htaccess может быть лучше для этого цель. Кроме того, убедитесь, что у вас есть частный репозиторий!

Обратите внимание, что размещение вашего кода на CloudCannon (платная учетная запись) позволяет вам легко настроить все эти функции в их интерфейсе.

person JoostS    schedule 03.11.2017

arrow_upward
0
arrow_downward

Пытаться:

---
layout: 
sitemap: false
---

Таким образом, всякий раз, когда вы включаете строку sitemap: false во вступительную статью, вы можете исключить эту страницу из карты сайта.

Проверьте:

  • добавьте gem 'jekyll-sitemap' к Gemfile вашего сайта и запустите bundle
  • добавьте следующее в _config.yml вашего сайта:
plugins:
    - jekyll-sitemap
person Milovan Tomašević    schedule 12.04.2021