Всем привет. В предыдущей статье я рассказывал про тег <noindex> и атрибут nofollow тега <a>, но в отдельную тему я решил вынести мета-тег robots с атрибутом content=”noindex,nofollow”.
Индексация страниц с точки зрения SEO имеет огромное значение и необходимо владеть базовыми техническими знаниями в SEO. Поэтому сегодня я расскажу вам про мета-тег robots, про который не знают многие оптимизаторы.
Что такое meta name robots?
Прошу не путать с robots.txt, так как это совершенно разные файлы. Meta robots необходим, а Robots.txt призван для того чтобы создавать правила индексирования страниц для поисковых роботов.
Чтоб было нагляднее давайте разберем на примере:
Это пример файла robots.txt
Читайте в нашем блоге: Поисковые системы - список популярных систем в РоссииUser-agent: *
Disallow: /admin/
Clean-Param: utm_source&utm_medium&utm_campaign
Crawl-Delay: 0.5
Sitemap: https://website.ru/sitemap.xml
Host: https://website.ru
Кстати, совсем недавно написал полноценную статью про правильную настройку robots.txt
Вот это пример мета-тега robots с атрибутами name и content
<meta name=”robots” content=”noindex, follow” />
Как вы видете синтаксис довольно прост + параметры данного тега нечувствительны к регистру. Можно написать и в таком формате
<META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW” />
В принципе синтаксис мы уже увидели. Данный тег должен располагаться в разделе <head> тут</head> и нигде больше! Но использовать данный тег можно несколько раз на странице.
Список параметров мета-тега name robots:
Для всех поисковых систем
index – позволяет индексировать текст страницы
noindex – не индексировать текст страницы
follow – индексировать ссылки на этой странице
nofollow – не индексировать ссылки на этой странице
all – индексировать текст и ссылки на странице
none - не индексировать текст и ссылки на странице
noarchive – не показывает ссылку на сохраненную копию на странице поисковой системы
Только для Яндекса:
noyaca – не использовать описание Яндекс Каталога в результатах выдачи Яндекса
Только для Google:
nosnippet – не использует фрагмент содержания в результах поиска Google
noodp – не использует описание из каталогов ODP/DMOZ в результатах поиска Google
unavailable_after:[date]: - возможность указать точную дату и время, когда необходимо прекратить индексирование страницы
noimageindex – не использует картинки сайта в качестве источника ссылки, которая отображается в поисковой системе Google
Если тег meta name robots отсутствует на страницы, то мы автоматически разрешаем роботу индексировать текст и ссылки на странице.
Читайте в нашем блоге: Где проверить скорость загрузки сайта
Итак, разберем каждый пример отдельно
<meta name=”robots” content=”noindex” />
Этот пример позволит закрыть от индексации текст страницы, но будет учитывать все ссылки на сайте и соответственно проиндексирует их. Та же ситуация произойдет если, мы добавим follow
<meta name=”robots” content=”noindex, follow” />
Разницы нет, писать можно так и так.
Если мы хотим полностью закрыть страницу от индексации через тег meta name, то есть два способа:
<meta name=”robots” content=”noindex, nofollow” />
И <meta name=”robots” content=”none” />
(Также можно использовать на странице тег noindex и и атрибут nofollow)
Оба варианта позволят роботу не учитывать текст и ссылки на странице.
<meta name=”robots” content=”all” />
Этот тег учитывает все ссылки и текст
Далее я расскажу в каких случаях использовать.
Использование meta name robots
Когда нужен robots.txt, а когда meta name robots?
Плюсы meta name robots.txt
Данный файл мы можем указывать, когда необходимо закрыть целые разделы, несколько страниц от индексации поисковых роботов. Причем, чтобы запретить раздел, мы прописываем это только одной строкой и если мы хотим разрешить индексирование одной страницы, то добавляем дополнительно строку.
В принципе более подробно про robots.txt я рассказал здесь.
Мета-тег name robots в этом случае проигрывает, потому что невозможно указать данный тег на весь раздел (придется выставлять отдельно на каждой странице, что очень неудобно и затратно).
Ну в целом и все. Главное, что мы выигрываем время.
Теперь разберем, когда лучше всего использовать meta name robots.
1. Страница в разработке.
Допустим, вы не до конца доделали страницу и в дальнейшем планируете его закончить, тогда вы можете внести ее на сайт, но попросить поисковую систему не индексировать эту страницу. В дальнейшем, когда страница будет готова, вы удалите этот тег.
Тег будет выглядеть так:
<meta name=”robots” content=”none” />2. Дублированный контент.
Если вы не знаете, то архивы, ярлыки создают дублирование контента. Но закрывать эти страницы от индексации полностью необязательно. Достаточно, тег meta name robots с запретом индексации текста, но индексацию ссылок не трогать.
<meta name=”robots” content=”noindex,follow” />
Ответы на вопросы
Что будет, если использовать одновременно meta name robots и robots.txt ?
Поисковой системе без разницы что вы используете для управления индексацией (файлом robots.txt или мета тегом robots). Важно чтобы эти элементы не противоречили друг другу. Поэтому будьте внимательны.
Читайте в нашем блоге: Как стать заметным на выдаче с помощью микроразметки?
Яндекс про meta robots.txt
Прочитал у Яндекса интересную заметку в справке:
“Если мета-теги не указаны, робот считает, что они имеют положительное значение (index, follow, archive). Если робот обнаруживает конфликт между тегами, выбирается именно положительное значение.
Пример:
<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->
Исключение — атрибут all не влияет на noarchive:
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки
на сохраненную копию страницы.--> “
Google про мета-тег robots
Интересную информацию я нашел в справочнике Гугла:
Чтобы заблокировать большую часть поисковых роботов, добавьте следующий метатег в раздел <head> веб-страницы:
<meta name="robots" content="noindex">
Если вы хотите закрыть доступ к странице только роботам Google, используйте такой код:
<meta name="googlebot" content="noindex">
Другие поисковые системы могут иначе интерпретировать атрибут noindex на странице и показывать ее в результатах поиска.
По поводу ноуиндекс ничего нового мы не узнали, но зато я увидел вот что! В атрибуте name указано значение googlebot, а это говорит о том, что можно использовать различных поисковых ботов. Это я увидел в англоязычном справочнике Гугла.
Странно здесь одно, что в справочнике Яндекса никакой информации про это я не увидел.
Заключение
Конечно, не стоит закрывать все ссылки на сайте, обязательно ссылайтесь на полезные ресурсы для посетителя и никаких nofollow, noindex вам не понадобится. Потому что роль данных тегов важна с точки зрения индексации, но не с точки зрения продвижения вашего сайта. Ну к примеру, я не использовал данный тег и мои сайты ранжировались нормально. Это скорее некая дополнительная фича к robots.txt.
Не злоупотребляйте спамными техниками и прочими черными методами продвижения сайтов и старайтесь не слушать биржи о покупке ссылок и волшебном продвижении в ТОП 10, и ничего за это вам не будет. Поймите – их цель продать вам продукт и они будут вливать вам как можно больше воды. Можно продвигать сайт без них, есть конкретные кейсы и примеры (точнее без покупки ссылок), ну а в сегодняшней статье всё.
Оставляйте вопросы в комментариях, а пока у меня к вам несколько вопросов:
Как вы используете meta-robots name?
Используете ли вы различных ботов (googlebot, googlebotnews) для запрета индексации той или иной страницы?
