SEO: Специальные метатеги для поисковых систем

Метатеги robots — это директивы, которые поисковые системы всегда учитывают. Добавление этих тегов может упростить индексацию вашего сайта.

Существует разница между директивами и рекомендациями.

Метатеги robots или файлы robots.txt являются директивами и всегда выполняются. Канонические теги — это рекомендации, которые Google может решить учитывать или нет.

Существует множество вариантов метатегов на уровне страницы, но вот наиболее распространённые, связанные с SEO:

<meta name="robots" content="noindex,nofollow" />

Тег robots, вероятно, самый распространённый тег, который вы встретите. По умолчанию он имеет значение index,follow, поэтому его не нужно указывать. Также допустима альтернативная версия all:

<meta name="robots" content="all" />

Установив тег robots в значение noindex,nofollow, как в примере выше, вы укажете поисковым системам:

noindex: Не показывать эту страницу в результатах поиска. Отсутствие noindex означает, что страница может быть проиндексирована и показана в результатах поиска. При создании сайта вы можете не захотеть индексировать определённые страницы. Типичные примеры: страницы настроек, внутреннего поиска, политик и т.д.
nofollow: Не переходить по ссылкам на этой странице. Отсутствие этого параметра позволит роботам сканировать и переходить по ссылкам на странице. Ссылки, найденные на других страницах, могут разрешить сканирование, поэтому отсутствие nofollow позволит Google сканировать и переходить по ссылкам на этой странице. Если ссылка A встречается на страницах X и Y, причём X имеет тег nofollow, а Y — нет, Google может решить сканировать эту ссылку.

Примечание: Полный список директив можно найти в официальной документации Google.

Тег Googlebot

<meta name="googlebot" content="noindex,nofollow" />

Иногда можно встретить тег googlebot. В большинстве случаев достаточно тега robots. Тег googlebot специфичен для Google. Используйте его, если хотите установить отдельное правило для Googlebot и общее для остальных поисковых роботов.

В случае конфликта тегов применяется более строгий тег.

Вы можете задаться вопросом: зачем нужны эти теги, если можно добавить URL-адреса в robots.txt, которые не должны сканироваться. Метатеги дают гибкость, позволяя помечать страницы как noindex по требованию.

Например, если при применении фильтров к странице товаров не остаётся результатов, стандартной практикой будет пометить эту страницу как noindex.

URL-адреса, запрещённые для сканирования в файле robots.txt, никогда не будут сканироваться Google, но если правила добавлены после индексации страниц, они могут остаться в индексе. Лучший способ убедиться, что страница не индексируется — использовать тег noindex.

Примечание: Google может решить проиндексировать страницу без её сканирования. Это крайне редко, но случается, когда Google хочет показать страницу для определённого результата поиска и уверен, что она содержит ожидаемый пользователями контент.

Теги Google

nositelinkssearchbox

<meta name="google" content="nositelinkssearchbox" />

Когда пользователи ищут ваш сайт, Google иногда показывает специальное поле поиска по сайту вместе с прямыми ссылками на него. Этот тег указывает Google не показывать поле поиска в сниппете.

notranslate

<meta name="google" content="notranslate" />

Когда Google определяет, что содержимое сайта не на языке, который пользователь, скорее всего, хочет читать, он часто предоставляет ссылку на перевод в результатах поиска.

Обычно это позволяет вам представить ваш уникальный контент более широкой аудитории. Однако бывают ситуации, когда это нежелательно. Этот метатег указывает Google не предлагать перевод для этой страницы.

Пример

Теперь, когда мы рассмотрели некоторые распространённые теги, вот пример страницы, использующей их:

import Head from 'next/head';
 
function IndexPage() {
  return (
    <div>
      <Head>
        <title>Пример метатегов</title>
        <meta name="google" content="nositelinkssearchbox" key="sitelinks" />
        <meta name="google" content="notranslate" key="notranslate" />
      </Head>
      <p>Здесь мы демонстрируем некоторые метатеги!</p>
    </div>
  );
}
 
export default IndexPage;

Как видно в примере, мы используем next/head — встроенный компонент для добавления элементов в head страницы. Чтобы избежать дублирования тегов в head, можно использовать свойство key, которое гарантирует, что тег будет отображён только один раз.

Специальные метатеги для поисковых систем

Тег Googlebot

Теги Google

nositelinkssearchbox

notranslate

Пример

On this page