Здравствуйте! Разберем очень важный инструмент для SEO-специалистов, вебмастеров - Яндекс Вебмастер. Распишем все функции, которые присутствуют в нем и для чего они нужны. Но сначала разберем, что же такое Яндекс Вебмастер?
Яндекс Вебмастер - это сервис, позволяющий управлять индексацией и частично влиять на ранжирование в поисковой системе Яндекс. Инструмент позволяющий структурировать отображение вашего сайта (добавив микроразметку, фиды, быстрые ссылки). Также позволяющий определить не попал ли ваш сайт под санкции поисковой системы, а это очень важно знать. В общем перечислять можно много и долго, но пойдем обо всем по порядку.
Почему нужно использовать Яндекс Вебмастер?
Причин имеется множество,почему стоит использовать этот инструмент:
Контроль индексации сайта в Яндексе. Мы всегда сможем посмотреть какие страницы проиндексированы а какие нет;
Улучшенное отображение сниппета с помощью микроразметки Яндекс Вебмастера. Яндекс считывает определенный тип микроразметки, который может увеличить CTR вашего сниппета и количество переходов на сайт в несколько раз;
Переезд сайта на новый домен. Да в Вебмастере и такое имеется, важно только сохранить саму структуру URL страниц;
Возможно продвигаться по конкретному региону. Допустим мы находимся в Уфе, в Яндекс Вебмастере в разделе Региональность мы можем задать необходимый город и двигаться по нему.
И это только самые основные функции, также существуют и другие о которых я буду рассказывать по ходу вашего прочтения статьи.
Также после разработки нового сайта или доработки старого вам необходимо дать сигнал поисковым системам, что я внес все изменения можете его проверять. Этим сигналом для поисковой системы может служить:
Прописывание robots.txt в соответствии со всеми требованиями;
Добавление сайта в Яндекс Вебмастер;
Добавление сайта в Google Search Console.
Так как речь идет о Вебмастере от Яндекса, то поговорим о том, как добавить свой сайт.
Как добавить сайт в Яндекс Вебмастер?
Для начала необходимо перейти на сайт https://webmaster.yandex.ru и добавить сайт в Вебмастер.
В адресную строку прописываем адрес своего сайта
После этого необходимо подтвердить ваш сайт в Яндекс Вебмастере. Это можно сделать несколькими путями:
Подтверждение прав сайта в Яндекс Вебмастере через мета-тег
Для этого необходимо разместить данный код в разделе <head> вашего сайта. После размещения кода необходимо нажать кнопку “Проверить”.
Подтверждение прав сайта в Яндекс Вебмастере через html файл
Файл html на сервер/хостинг где расположен ваш сайт. После размещения html-файла необходимо нажать кнопку “Проверить”.
Подтверждение прав сайта в Яндекс Вебмастере через DNS-запись
Для этого в настройках хостинга нужно прописать TXT-запись и после размещения нажать кнопку “Проверить”.
После подтверждения сайта мы попадаем на главную страницу Вебмастера - Сводка.
Диагностика сайта
В разделе Диагностика сайта выводятся различные типы ошибок сайта, которые мешают продвигаться вашему сайту.
Вот какое определение дает этому сам Яндекс:
Яндекс Вебмастер заботится о качестве вашего сайта и предупреждает, если обнаруживает ошибки.
Сайт проверяется ежедневно. На странице сервиса отображаются ошибки, которые были найдены в течение всего дня. Чтобы посмотреть динамику проверки за прошедший период времени, нажимаем кнопку Другие дни.
Наличие информации об ошибках не влияет на ранжирование или индексирование сайта. Информация носит рекомендательный характер, кроме категорий «Фатальные» и «Критичные». Тем не менее, рекомендуем обращать внимание на сообщения, если для вашего сайта они отображаются.
Существует несколько типов ошибок, покажу для удобства в таблице, а затем разберем каждый тип более подробно.
Категория проблемы | Описание | Примечание |
Фатальные | Проверяется соединение с сервером, доступность сайта для индексирования, безопасность и соблюдение правил Яндекса | Могут вести к ухудшению ранжирования и полному исключению сайта из результатов поиска. Рекомендуем отслеживать и исправлять их в кратчайшие сроки |
Критичные | Проверяется срок действия домена сайта, количество неработающих внутренних ссылок, время ответа сервера | |
Возможные проблемы | Проверяется корректность файлов Sitemap и robots.txt, настройки отображения несуществующих файлов, наличие редиректов, количество страниц-дублей и пр. | Могут влиять на качество и скорость индексирования страниц сайта |
Рекомендации | Как правило, касаются улучшения представления сайта в результатах поиска | Позволяют улучшить представление сайта в результатах поиска |
Теперь разберем конкретнее какие ошибки могут встречаться в том или ином типе.
Фатальные ошибки
Сайт закрыт к индексации в файле robots.txt;
Не удалось подключиться к серверу из-за ошибки DNS;
Главная страница сайта возвращает ошибку;
Обнаружены нарушения или проблемы с безопасностью.
Критичные ошибки
Большое количество неработающих внутренних ссылок;
Долгий ответ сервера;
Ошибка обновления источника Турбо-страниц;
Источник Турбо-страниц (RSS-канал) не соответствует рекомендациям;
Турбо-страницы не соответствуют рекомендациям.
Возможные ошибки
Нет используемых роботом файлов Sitemap;
Обнаружены ошибки в файлах Sitemap;
Некорректно настроено отображение несуществующих файлов и страниц;
Ошибки в файле robots.txt;
Главная страница перенаправляет на другой сайт;
Большое количество страниц-дублей;
Не найден файл robots.txt;
В файле robots.txt не задана директива Host;
В файле robots.txt задана противоречивая директива Host;
Отсутствуют теги <title>;
Отсутствуют мета-теги <description>;
Файлы Sitemap давно не обновлялись;
Ошибки обновления RSS-канала;
Форматы рекламы не соответствуют рекомендациям IAB Russia.
Полезные статьи на эти темы:
Как правильно прописать Title страницы
Как правильно прописать тег Description
Рекомендации для сайта
Не задана региональная принадлежность сайта;
Сайт не зарегистрирован в Яндекс.Справочнике;
Отсутствуют быстрые ссылки;
Файл favicon не найден;
Сайт не оптимизирован для мобильных устройств;
Ошибка счётчика Яндекс.Метрики.
Как только мы устранили ошибки нажимаем кнопку Проверить, тем самым даете сигнал роботу переобойти сайт на имеющиеся ошибки.
Безопасность и нарушения сайта
В первую очередь под безопасностью Яндекс понимает: защита посетителей от спама, вредоносного кода и прочего мусора, который может мешать посетителю получать информацию с сайта.
Если ваш сайт заражен и имеет вирусы Вебмастер подскажет на какой странице он расположен и как это можно исправить.
Безусловно, вредоносный код может быть добавлен на сайт умышленно или случайно:
злоумышленником, который получил доступ к серверам или системе управления сайтом;
владельцем сайта (например, код баннерной системы, счетчика веб-аналитики) — сторонние ресурсы могут быть взломаны;
пользователем сайта, если есть возможность оставлять сообщения или загружать файлы.
Период проверок отличается у каждого сайта, поэтому данные о заражении могут обновляться с задержкой.
Сайт, на котором Яндекс Вебмастер нашел вредоносное содержимое, обязательно будет перепроверен. Если в ходе следующей проверки окажется, что сайт все еще заражен, проверки уменьшаться. Чем раньше сайт будет обеззаражен, тем быстрее Яндекс узнает об этом и снимет пометку об опасности для пользователей.
За что Яндекс может понизить ваш сайт в результатах поиска или заблокировать его вовсе?
Применение обманных техник, которые принесут существенный урон вашему сайту. В таблице расписал про каждое из нарушений:
Нарушение | Описание | Возможные ограничения |
Дорвей | Страницы и сайты, основной целью которых является перенаправление посетителя на другой ресурс, с помощью редиректа или ссылки. | Исключение из поиска страниц сайта |
Клоакинг | Страницы и сайты, которые отдают разный контент пользователям и роботам поисковых систем с целью повлиять на ранжирование в поисковой системе. | Исключение из поиска страниц сайта |
Скрытый текст | Размещение на страницах сайта невидимого или слабовидимого текста с ключевыми словами, с целью повлиять на ранжирование в поисковой системе. | Исключение из поиска страниц сайта |
Неоригинальный, бесполезный контент | Сайты, которые содержат неоригинальный, вторичный, малополезный контент, а также сайты, создаваемые для продажи ссылок и заработка на рекламе. Подробно о некоторых наших методах борьбы с такими сайтами: алгоритмы АГС-30, АГС-40, изменения в работе алгоритма АГС. | Исключение из поиска страниц сайта, понижение в результатах поиска, аннулирование тИЦ |
Партнерская программа | Размещение на страницах сайта информации о товарах и услугах, предоставляемых другими сайтами в рамках партнерской программы. Как правило, такие сайты не имеют ценности для пользователя, поскольку не имеют собственного оригинального контента и не предоставляют никакого дополнительного сервиса. | Исключение из поиска страниц сайта, понижение в результатах поиска |
SEO-тексты | Размещение на страницах сайта текстов, которые содержат неестественное, избыточное количество ключевых слов, чтобы повлиять на ранжирование в поисковой системе. При этом для маскировки могут использоваться элементы страниц, которые скрывают ключевые слова. Например, с помощью скроллинга или других технических приемов. Подробно об отношении Яндекса к SEO-текстам см. в статье Яндекс и поисковая оптимизация и записи об оптимизации текстов. | Исключение из поиска страниц сайта, понижение в результатах поиска |
Имитация действий пользователей | Имитация действий пользователей с целью повлиять на ранжирование сайта в поисковой выдаче. Подробно об отношении Яндекса к такому способу поисковой оптимизации см. в блоге Яндекс Вебмастера. | Исключение из поиска страниц сайта, понижение в результатах поиска |
Кликджекинг | Использование на сайте технологии кликджекинга — механизма обмана, связанного с размещением на сайте невидимых элементов, взаимодействие с которыми производится без ведома пользователей. Зачастую такой механизм применяется для получения персональных данных посетителя сайта без его согласия и выполнения действий от его имени в социальных сетях. Типичным примером кликджекинга является создание на сайте невидимых элементов поверх кнопок, форм, видеороликов и т. п. Также может использоваться перемещение этих невидимых элементов вслед за курсором по странице. Подробнее о кликджекинге см. в блоге Яндекс Вебмастера. | Понижение в результатах поиска |
Использование SEO-ссылок | Размещение на других сайтах SEO-ссылок для продвижения своего сайта. SEO-ссылки — это ссылки, основной целью создания которых является попытка повлиять на ранжирование в поисковых системах. К таким ссылкам относятся, в частности, ссылки, покупаемые с помощью ссылочных бирж и агрегаторов. Подробнее о нарушении. | Понижение в результатах поиска |
Чрезмерное использование рекламы или шокирующая реклама | Использование на сайте раздражающих методов рекламы, мешающих пользователю просматривать основной контент сайта (popup, popunder, clickunder), а также рекламы с шокирующим содержанием. Подробно о том, как Яндекс учитывает удобство сайтов см. в блоге Яндекс Вебмастера. | Понижение в результатах поиска |
Так выглядит Вебмастер сайта, который понижен за дорвей.
Это Вебмастер сайта, который понижен за переоптимизацию.
История поисковых запросовБолее подробно про то как продвигать сайт в 2018 году я рассказал в статье:
Данный раздел содержит статистическую информацию о поисковых запросах, доступных в разделе Последние запросы. Данные представлены в нескольких разрезах:
Название | Описание | Какие показатели можно отслеживать |
Группа | Содержит статистику по группам запросов, доступным в разделе Последние запросы. | По умолчанию отображаются:
Можно выбрать другой показатель, например показы на позициях, клики с позиций, и построить отчет по каждому показателю отдельно. |
Популярные запросы | Содержит статистику по фразам с наибольшим количеством показов, по которым сайт отображался в результатах поиска за последние три месяца (учитываются первые 3000 позиций). | |
Избранные запросы | Содержит статистику по фразам из группы «Избранные». | |
Тренд | Отображает динамику поискового трафика вашего сайта в сравнении с похожими сайтами. | Среднее количество кликов. |
Просмотр статистики по группе запросов
Чтобы получить статистику изменения средней позиции сайта по всем группам запросов, выполняем следующие действия:
Установливаем переключатель в положение Группы;
В поле Показатель выберите из списка параметр Ср. позиция;
В поле Регион выбераем из списка тот регион, в котором отслеживаем данные. В списке представлены регионы, в которых был хотя бы один показ сайта на первых 50 позициях в результатах поиска. Регионы отсортированы по количеству показов;
Используем опцию включить, чтобы получить данные только по указанному региону, или опцию исключить, чтобы получить информацию по всему миру, кроме указанного региона;
Указываем интервал дат, за который хотим получить информацию;
При необходимости изменяем детализацию выбранного периода времени: по дням, неделям или месяцам;
Также вы можем выбрать отдельную группу и увидеть статистику по общим показателям.
Читайте в нашем блоге: LSI и SEO тексты – 5 основных отличий
Просмотр статистики по отдельному поисковому запросу
Чтобы сформировать отчет по поисковому запросу и всем доступным показателям, выполняем следующие действия:
Установливаем переключатель в положение Популярные запросы или Избранные запросы;
В списке Все запросы выбираем необходимый запрос;
В поле Регион выбираем из списка тот регион, в котором отслеживаем данные. В списке представлены регионы, в которых был хотя бы один показ сайта на первых 50 позициях в результатах поиска. Регионы отсортированы по количеству показов;
Используем опцию включить, чтобы получить данные только по указанному региону, или опцию исключить, чтобы получить информацию по всему миру, кроме указанного региона;
Указываем интервал дат, за который хотим получить информацию;
При необходимости изменяем детализацию выбранного периода времени: по дням, неделям или месяцам.
Также мы можем проследить динамику отдельного показателя (например, показов на первой позиции) по всем фразам, доступным в группах Популярные запросы или Избранные запросы.
Пример отчета по запросам
Цветом отражается увеличение (зеленым) или уменьшение (красным) показателя за выбранный период времени. Разница числовых значений рассчитывается по сравнению с аналогичным предыдущим периодом.
Чтобы перейти к отчету по группе запросов или отдельному запросу, нажимаем на нужную строку.
Яндекс Вебмастер собирает и анализирует статистику по поисковым запросам, которые привели посетителей на ваш сайт из результатов поиска. На основе этих данных формируется отчет, который позволяет сравнивать поисковый трафик вашего сайта с похожими сайтами за одинаковый период времени.
1. Чтобы просмотреть отчет, установливаем переключатель в положение Тренд.
2. Расчет показателей; Интерпретация данных отчета
Расчет показателей
Отчет содержит два показателя: среднее количество кликов для вашего сайта и группы похожих сайтов. Данные рассчитываются за выбранный период времени по т. н. точкам отчета. Точкой отчета является день, неделя или месяц в зависимости от выбранного типа детализации в отчете.
Для каждой точки подсчитывается количество кликов. Первой точкой отчета считается первый временной отрезок, в который были зафиксированы переходы на ваш сайт и на похожие сайты. Например, если выбран уровень детализации по дням, то первой точкой является первый день, для которого у Яндекс Вебмастера есть данные о кликах.
Поисковый трафик выражается в усредненных показателях. Это позволяет получить общее представление о динамике переходов на сайт по поисковым запросам.
Для вычисления показателей количество кликов каждой точки отчета делится на количество кликов первой точки. В результате показатель первой точки всегда равен 1.
В некоторых случаях число кликов в таблице отличается от чисел на графике. Например, в отчете одновременно выбран:
неполный временной отрезок, например сентябрь, октябрь полностью и три дня в ноябре;
уровень детализации неделя или месяц.
В этом случае на графике отобразится только выбранный период времени, а в таблице период будет дополнен отрезками времени с учетом уровня детализации.
В строке Динамика трафика отображается среднее количество кликов за период. Показатели в процентах позволяют увидеть динамику поискового трафика в сравнении с аналогичным предыдущим периодом. Цветом отражается увеличение (зеленым) или уменьшение (красным) показателя.
Данные в отчете могут отсутствовать, если в базе Яндекс Вебмастера недостаточно информации для расчетов.
Интерпретация данных отчета
С помощью отчета мы можем понять: влияют ли изменения на сайте на динамику переходов из результатов поиска.
Например, мы заметили спад посещаемости за последний месяц. Если на графике на одном отрезке времени линия Мой сайт и линия Похожие сайты изменяются в примерно одинаковом соотношении, то, скорее всего, причины снижения посещаемости не связаны с изменениями на сайте. Фактором такого влияния может быть сезонность.
Если линия Мой сайт проседает, а линия Похожие сайты в это же время идет вверх, то, скорее всего, изменения на сайте повлияли на эти показатели. Снижение количества кликов может быть связано с понижением позиций сайта в результатах поиска по анализируемым поисковым запросам. Причинами этого могут быть:
малая информативность или отсутствие мета-тега description;
заражение сайта вирусом;
наличие на сайте нарушений.
Проверить наличие этих причин можно в разделе Диагностика Яндекс Вебмастера.
Различие статистических данных
Данные, представленные в Яндекс Вебмастере, могут отличаться от данных Подбора слов (Wordstat) и Яндекс.Метрики. Например, сервисы могут по-разному учитывать время перехода на сайт (если он был сделан в 23.59), также причиной может быть разница часовых поясов.
Ниже перечислены основные причины различия данных Вебмастера и Wordstat:
Вебмастер учитывает показы и клики из результатов поиска до 50-й позиции, то есть в статистике учитывается только часть данных;
Данные могут отображаться с задержкой. Например, в Wordstat разница между получением данных и их отображением может занимать около месяца.
Данные Яндекс Вебмастера отличаются от данных Яндекс.Метрики, так как в статистике Вебмастера отображаются клики по ссылке на сайт из результатов поиска. В отчете Метрики Поисковые фразы показываются визиты, которые состоялись по таким кликам. При этом количество кликов не всегда равно количеству визитов, так как Метрика может не засчитать клик как визит. Основными причинами этого являются:
сайт недоступен в момент перехода по ссылке;
счетчик Метрики установлен на сайт некорректно;
на странице, на которую перешел посетитель из результатов поиска, отсутствует счетчик Метрики;
браузер посетителя не успел загрузить код счетчика;
HTTP-заголовок Referer не доступен для учета перехода из поисковой системы.
Последние запросы
Раздел содержит информацию о поисковых фразах, по которым ваш сайт располагался на первых 50 позициях результатов поиска Яндекса. Для этих фраз представлено несколько показателей: показы, клики, позиция, CTR. Это усредненные значения за последние 7 дней, доступные в разделе История запросов.
По показателям и другим признакам все запросы могут быть объединены в группы (заданные сервисом или созданные вручную).
Группы запросов
По умолчанию в Яндекс Вебмастере доступно несколько групп запросов:
Все запросы — содержит фразы, по которым ваш сайт показывался в ТОП-50 результатов поиска Яндекса;
Загруженные — содержит фразы, которые были добавлены вручную;
Избранные — специальная группа. Позволяет отслеживать данные по отдельным запросам (например, отслеживать изменения позиций по ключевым фразам). Информация по каждому запросу из этой группы доступна в разделе История запросов;
Top 3, Top 10, Top 50 — содержат фразы, по которым ваш сайт показывался в ТОП (3, 10 или 50) результатов поиска Яндекса. По умолчанию в каждой группе установлен фильтр с указанием средней позиции сайта в выдаче.
Мы можем добавить собственные группы, чтобы объединить запросы, с которыми работаем чаще всего.
Примечание. Можно добавить до 500 запросов в одну группу (до 1000 запросов в группу Избранные). Для одного сайта может быть создано не более 100 групп.
Группа создается путем копирования поисковых запросов из общего списка, представленного в разделе. При этом мы можем использовать несколько способов:
Создать группу во время копирования
Выбираем группу Все запросы и отмечаем необходимые запросы;
Внизу страницы нажмаем кнопку Копировать выбранные запросы в группу;
В появившемся окне вводим название группы и нажимаем кнопку Сохранить. Новая группа отобразится в списке Группы запросов.
Скопировать запросы в заранее созданную группу
Под списком Группы запросов нажимаем кнопку Создать группу;
В появившемся окне вводим название группы и жмем кнопку Сохранить. Новая группа отобразится в списке Группы запросов;
Выбираем группу Все запросы и отмечаем необходимые запросы;
Внизу страницы нажимаем кнопку Копировать выбранные запросы в группу;
В появившемся окне выбираем из выпадающего списка название созданной группы и нажимаем кнопку Сохранить. Запросы отобразятся в выбранной группе.
Скопировать запросы в группу Избранные
Выбираем группу Все запросы и отмечаем необходимые запросы;
Внизу страницы нажимаем кнопку Добавить запросы в избранное. Запросы отобразятся в группе Избранные.
Если мы только что создали новую группу, статистика по этой группе не будет отображена. Необходимо дождаться, пока данные будут накоплены в течение нескольких дней.
При необходимости мы можем управлять группой, а именно:
переименовать;
удалить;
если для группы сохранен фильтр, его можно сохранить для другой группы.
Загрузка собственных запросов
Мы можем добавить в сервис поисковые фразы, которые не попали в список запросов. Загрузить фразы можно в группы Избранные, Top 3, Top 10 и Top 50, а также в группы, созданные вручную.
В сервисе доступно несколько способов загрузки запросов:
в виде текста;
с помощью TXT-файла.
Примечание. Количество запросов (строк) в тексте и файле не должно превышать 500.
Сразу после окончания загрузки фразы будут отображаться в группе, в которую их добавили. При этом список фраз будет автоматически отфильтрован по значению добавленные вручную. В этом режиме мы можем удалить добавленный запрос. Чтобы увидеть все фразы группы, выбираем значение по фильтру.
Также добавленные запросы всегда отображаются в группе Загруженные.
Фильтрация запросов
Запросы можно фильтровать по параметрам (например, числу показов в результатах поиска, числу кликов, тексту запроса и пр.).
Например, отфильтруем запросы по адресу страницы — сформируем список запросов, по которым сниппет этой страницы отображается в результатах поиска:
Нажимаем ссылку Добавить фильтр;
Выбираем фильтр URL в выпадающем списке и значение содержит. Затем вводем в поле часть URL (например, /category/);
Нажимаем кнопку Фильтровать.
По умолчанию в списке отображаются запросы. Чтобы в списке отобразились адреса страниц, нажимаем на название столбца URL.
Заданный фильтр можно сохранить в уже существующую группу или создать для него отдельную группу во время сохранения, нажав кнопку Сохранить.
Добавление нескольких фильтров
Чтобы выбрать из общего списка нужные вам запросы, можно применить несколько фильтров. При добавлении фильтров используется оператор «И». Таким образом, каждая фраза в выборке будет отвечать одновременно всем заданным условиям фильтров.
Кроме этого, в фильтре по параметру Текст запроса можно указать условие с оператором «ИЛИ», используя символ |. Например, если указать в поле текст вебмастер|яндекс, то в результате отобразятся фразы, которые содержат хотя бы одно слово, указанное в условии фильтра.
Читайте в нашем блоге: Как не сделать говносайт
Рекомендованные запросы
В разделе Рекомендованные запросы показаны соответствующие тематике вашего сайта поисковые запросы, которые могут привести дополнительный трафик.
Как правило, поисковые запросы различаются в зависимости от региона поиска. По умолчанию в разделе отображаются данные с учетом всех регионов. Чтобы указать нужный регион, используйте фильтр. В фильтре доступны регионы с наибольшим количеством запросов за месяц.
Рекомендованные запросы можно использовать в качестве условия таргетирования при ведении рекламы. Эффективность подобранных запросов можно оценить с помощью прогнозируемых показателей на основе данных Яндекс.Директа. Показатели представлены с условием входа в гарантированные показы:
количество показов;
количество кликов;
цена клика.
Прогноз строится с учетом статистики по показам и кликам за последние 28 дней. При расчете учитываются:
позиции, дни, время и регионы показов объявлений;
приводили ли эти показы к кликам;
ставки и списанные цены кликов.
Отображаемые в Вебмастере показатели могут отличаться от показателей в Директе из-за разницы во времени получения данных.
Кроме поисковых запросов сервис отображает URL страницы, которая показывается по тому или иному запросу в поиске. Эту страницу можно использовать в качестве целевой для переходов с рекламы.
Статистика обхода
Индексирующий робот Яндекса регулярно обходит страницы сайтов и загружает их в поисковую базу. При этом робот может загрузить не все нужные вам страницы из-за их недоступности.
Яндекс Вебмастер позволяет узнать, какие страницы вашего сайта обходит робот и выявить адреса страниц, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт или из-за ошибок в содержимом самих страниц.
Данные о страницах доступны в разделе Статистика обхода Яндекс Вебмастера. Информация обновляется ежедневно в течение шести часов с момента посещения страниц роботом.
По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию о конкретном разделе, выбираем его из списка в поле с адресом сайта. Доступные разделы соответствуют структуре сайта, известной Яндексу (кроме разделов, добавленных вручную).
Страницы в поиске
Поисковая выдача Яндекса регулярно обновляется. Страницы вашего сайта могут появляться в результатах поиска и пропадать из них.
С помощью информации, представленной в разделе Страницы в поиске, мы можем:
Следить за изменением количества страниц в поисковой выдаче Яндекса и за соотношением числа добавленных и исключенных страниц;
Получать информацию о дате последнего посещения сайта роботом и обновления поисковой выдачи;
Выяснить причину исключения страницы из результатов поиска.
По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию о конкретном разделе, выбираем его из списка в поле с адресом сайта. Доступные разделы соответствуют структуре сайта, известной Яндексу (кроме разделов, добавленных вручную).
Информация о страницах представлена следующим образом:
Новые и удаленные — соотношение количества страниц, появившихся в результатах поиска и исключенных из него;
Исключенные — динамика количества страниц, исключенных из результатов поиска;
История — динамика количества страниц, которые участвуют в поиске. Каждый сегмент графика соответствует отдельному разделу сайта;
Распределение — количество страниц, участвующих в поиске, отображается на круговой диаграмме, где каждый сегмент соответствует разделу сайта.
Более подробно разберем исключенные страницы, почему Яндекс их не индексирует:
Статус в веб-интерфейсе | Статус страницы | Расшифровка | Рекомендация |
Недостаточно качественная | BAD_QUALITY | Страница считается некачественной. | Ознакомьтесь с рекомендациями. |
Исключена по Clean-param | CLEAN_PARAMS | Страница была исключена из поиска в результате обработки роботом директивы Clean-param. | Чтобы страница индексировалась, измените файл robots.txt. |
Дубль | DUPLICATE | Страница дублирует уже представленную в поиске страницу сайта. | Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel="canonical". Если содержимое страниц различается, отправьте их на переобход, чтобы ускорить обновление данных в поисковой базе. |
Ошибка подключения к серверу | HOST_ERROR | При обращении к сайту роботу не удалось установить соединение с сервером. | Проверьте ответ сервера, убедитесь в отсутствии блокировки робота Яндекса на стороне провайдера. Сайт начнет индексироваться автоматически, если станет доступным для робота. |
Ошибка HTTP | HTTP_ERROR | При обращении к странице возникла ошибка. | Проверьте ответ сервера. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
Запрещено элементом noindex | META_NO_INDEX | Страница была исключена из поиска из-за установленного запрета на индексирование (с помощью мета-тега robots со значением content="noindex" или content="none"). | Чтобы страница появилась в поиске, удалите запрет и отправьте ее на переобход. |
Неканоническая | NOT_CANONICAL | Страница проиндексирована по каноническому адресу, который был указан в атрибуте rel="canonical" в ее HTML-коде. | Исправьте или удалите атрибут rel="canonical", если он указан некорректно. Робот отследит изменения автоматически. Чтобы ускорить обновление данных о странице, отправьте ее на переобход. |
Неглавное зеркало | NOT_MAIN_MIRROR | Страница относится к неглавному зеркалу сайта, поэтому была исключена из поиска. | |
Статус неизвестен | OTHER | Страница известна роботу, но не участвует в поиске. | Проверьте ответ сервераили наличие запрещающих HTML-элементов. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
Не удалось скачать страницу | PARSER_ERROR | При обращении к странице роботу не удалось получить ее содержимое. | Проверьте ответ сервера или наличие запрещающих HTML-элементов. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход. |
Редирект | REDIRECT_NOTSEARCHABLE | Страница осуществляет перенаправление, при котором индексируется его цель. | Проверьте индексирование страницы, на которую выполняется редирект. |
Запрет в robots.txt(весь сайт) | ROBOTS_HOST_ERROR | Индексирование сайта запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. | При необходимости внесите изменения в файл robots.txt. |
Запрет в robots.txt(страница) | ROBOTS_TXT_ERROR | Индексирование страницы запрещено в файле robots.txt. Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования. | При необходимости внесите изменения в файл robots.txt. |
Структура сайта
Яндекс Вебмастер показывает разделы сайта, которые содержат не менее 10 страниц и составляют более 1% от общего числа страниц, загруженных в базу Поиска.
Разделы представлены в виде дерева в соответствии со структурой URL сайта. По каждому разделу сайта доступна информация о количестве страниц, которые были загружены роботом Яндекса и участвуют в поиске.
Проверить статус URL
Проверить статус URL — это инструмент для отслеживания информации об индексировании Яндексом определенной страницы сайта. Он позволяет узнать состояние страницы в результатах поиска: обходит ли ее робот, участвует ли страница в поиске, а также причины ее исключения из поисковой выдачи.
Проверка страницы
Чтобы получить данные об индексировании страницы, нужно выполнить следующие действия в интерфейсе Яндекс Вебмастера:
Выбираем из списка сайт, страницу которого необходимо проверить;
Переходим в раздел Индексирование → Проверить статус URL;
В поле вводим адрес страницы, данные которой хотим получить и нажимаем кнопку Проверить.
Примечание. В поле можно ввести полный URL страницы или путь от корня сайта, начинающийся с «/». Например, если указывается URL http://example.com, то система обрабатывает информацию о странице http://example.com. Если указывается путь /news, обрабатывается информация о странице http://example.com/news.
Система соберет данные о странице и сформирует отчет.
В процессе сбора информации отчет имеет статус «Проверяется». Сбор и обработка информации производятся в течение нескольких минут. В некоторых случаях это может занять несколько часов. Как только обработка данных завершится, статус отчета изменится на «Проверено». Статус «Не удалось построить отчет» сообщает о том, что произошла ошибка на стороне сервиса. В этом случае проверим страницу позже.
Просмотр отчета
Чтобы просмотреть отчет, нажимаем кнопку Подробнее.
Представленная в отчете информация основывается на текущем состоянии поисковой базы и на последних данных, полученных от индексирующего робота:
статус страницы в поиске;
статус страницы во время последнего обхода роботом;
дата и время последнего построения поисковой базы и обхода роботом;
URL страницы;
заголовок страницы (содержимое HTML-элемента title).
Также можно просмотреть отчеты, сформированные для конкретной страницы с помощью фильтрации.
Если контент на странице был изменен, робот автоматически отследит это. Данные в поисковой выдаче будут обновлены при следующем построении поисковой базы.
Важные страницы
Яндекс Вебмастер позволяет получать актуальную информацию о процессе индексирования отдельных страниц и разделов сайта. Например, можно отслеживать появление в поиске новых страниц, получая уведомления об изменениях по электронной почте и в Яндекс Вебмастере.
Сбор информации
Мы можем отслеживать любой URL сайта или воспользоваться рекомендациями сервиса.
Чтобы начать отслеживать индексирование страниц, в интерфейсе Яндекс Вебмастера:
Переходим раздел Индексирование → Важные страницы;
В поле вводим URL страницы, информацию о которой хотим получить;
Можно ввести полный URL страницы или путь от корня сайта, начинающийся с «/». Например, если указывается URL http://example.com, то система обрабатывает информацию о странице http://example.com. Если указывается путь /news, обрабатывается информация о странице http://example.com/news;
Нажимаем кнопку Отслеживать.
Вебмастер анализирует страницы сайта и может рекомендовать их для отслеживания. Страницы подбираются по количеству кликов и показов на поиске за период с понедельника по воскресенье. Они отображаются в блоке Рекомендованные страницы. Чтобы добавить страницу в список важных, напротив нее нажимаем кнопку Отслеживать. Если мы хотим добавить все рекомендованные сервисом страницы, нажимаем кнопку Отслеживать все.
Информация собирается и обрабатывается в течение нескольких минут. В некоторых случаях это может занять несколько часов.
Примечание. В поле может быть указано до 100 адресов для одного сайта. При достижении этого лимита рекомендованные страницы не отображаются. Отчет может содержать до 100 изменений для каждого заданного адреса.
Состояние страницы
Яндекс Вебмастер отображает состояние страницы на момент последнего обхода роботом и на момент последнего обновления поисковой базы.
После добавления URL и сбора информации в разделе Яндекс Вебмастера можно найти наиболее важные данные о состоянии страницы на текущий момент:
дата последнего обхода страницы роботом и ответ сервера, полученный при этом;
версия и статус страницы в поиске (например, «Участвует в поиске»).
Сервис постоянно проверяет, что представлено в поиске и какую информацию получил поисковый робот. Когда робот узнает об изменении состояния страницы или статус страницы в поисковой базе изменится, информация об этом отобразится в сервисе, само изменение выделится цветом:
дата изменения;
дата последнего обхода страницы роботом и ответ сервера, полученный при этом;
версия и статус страницы в поиске.
При необходимости можно продолжить работу с проверенной страницей, нажав кнопку:
Проверить ответ сервера — откроется раздел Проверка ответа сервера с результатом проверки выбранного URL;
Переобойти страницу — откроется раздел Переобход страницы, при этом выбранная страница отобразится в списке отправленных на переобход со статусом «В очереди».
Чтобы своевременно узнавать о произошедших изменениях, можно настроить уведомления о важных событиях.
Переобход страниц
Файлы Sitemap
С помощью файла Sitemap можно сообщить Яндексу об актуальной структуре сайта, указав специальную директиву в robots.txt или добавив в Яндекс Вебмастер.
Переезд сайта с www или без него
Инструмент позволяет сообщить поисковой системе о смене доменного имени сайта, используемого протокола, выбрать предпочтительное отображение сайта в результатах поиска (с префиксом www или без него), а также расклеить зеркала.
Он работает в двух режимах: изменение адреса сайта (переезд) для сайтов, которые не являются неглавными зеркалами и отклейка, доступная только для неглавных зеркал. Мы можем проверить, является ли сайт неглавным зеркалом.
Использование инструмента в режиме переезда предполагает наличие корректных указаний на главное зеркало, которыми могут являться редирект, а также директива Host в файлах robots.txt всех зеркал сайта. В рамках переезда может произойти смена главного зеркала сайта или объединение соответствующих зеркал в группу, если они еще не были склеены между собой ранее.
В режиме отклейки можно отправить заявку на расклейку зеркал в том случае, если они уже не возвращают один и тот же контент. После окончания процесса расклейки, такие сайты начнут
восприниматься поисковой системой как отдельные, несвязанные между собой ресурсы.
Скорость обхода
Роботы Яндекса постоянно индексируют сайты: обходят их с некоторой регулярностью и загружают страницы в свою базу.
Скорость обхода сайта — это количество запросов в секунду, которое робот отправляет на ваш сайт.
Настройка скорости обхода заменяет директиву Crawl-delay, которая указывается в файле robots.txt.
Как изменить скорость обхода робота в Яндекс Вебмастере?
В интерфейсе Яндекс Вебмастера перейдите в раздел Индексирование → Скорость обхода;
Включаем опцию Задать вручную.
Передвигаем ползунок в нужное положение. По умолчанию ползунок выставлен на оптимальную скорость обхода, рассчитанную для вашего сайта.
Сохраняем изменения.
Внутренние ссылки
Внутренняя ссылка — это ссылка, которая расположена на странице вашего сайта и ведет на другую страницу этого же сайта.
Раздел содержит примеры неработающих внутренних ссылок вашего сайта.
Список примеров ссылок формируется на основе данных робота Яндекса. Ссылка может считаться неработающей, если допущена ошибка в адресе (URL) страницы, URL страницы изменился или страница не существует.
При обнаружении таких ссылок рекомендуем исправить их, так как они отрицательно влияют на удобство сайта для пользователей. Также, скорее всего, эти ссылки являются исключенными из индекса Яндекса. Подробная информация об этом доступна в разделе Индексирование(Статистика обхода).
В интерфейсе может отображаться для одного сайта до 10 000 внутренних неработающих ссылок.
Читайте в нашем блоге: Google Песочница - как не попасть под фильтр?
Внешние ссылки
Внешняя ссылка — это ссылка, которая расположена на другом сайте и ведет на страницы вашего сайта.
Раздел содержит примеры ссылок, которые ведут с других ресурсов на ваш сайт. Информация представлена о ссылках со страниц, которые известны роботу. Тем не менее, некоторые ссылки могут не отображаться в разделе.
Робот Яндекса регулярно проверяет наличие и работоспособность внешних ссылок. По результатам этих проверок в разделе могут быть доступны следующие сведения:
URL страницы, на которой установлена ссылка на ваш сайт;
текст ссылки на ресурсе;
тИЦ ресурса;
URL страницы, на которую ведет ссылка;
дата, когда робот Яндекса обнаружил ссылку на ресурсе;
дата последнего обновления данных о ссылке.
Эта информация позволяет отслеживать появление новых ссылок и выявлять неработающие ссылки. Кроме этого, мы можем сформировать отчет только по удаленным ссылкам и получить сведения о дате удаления каждой из них.
Региональность сайта
Раздел содержит информацию о том, какие регионы определены для вашего сайта:
с помощью Яндекс.Справочника, если добавлена организация;
с помощью сервиса Яндекс Вебмастер или автоматически роботами Яндекса.
Примечание. Принадлежность к какому-либо региону не исключает сайт из результатов поиска в других регионах. Он может быть найден пользователями из любого региона, если содержимое сайта будет признано релевантным запросам.
Как изменить региональность сайта
Чтобы изменить регион сайта, указываем регион, который хотим установить, и в соответствующем поле — URL страницы своего сайта, подтверждающей его региональную принадлежность. Затем сохраняем изменения.
После этого модератор проверит соответствие выбранного региона и контактной информации на сайте. Для подтверждения региона нужно, чтобы сайт был доступен, на нем не было вирусов. Также проверьте, что контактная информация заметна на сайте и размещается на видном месте.
Когда регион будет подтвержден, информация об этом появится в разделе Региональность Яндекс Вебмастера. Изменения вступят в силу после следующего обновления поисковой базы — в течение 2 недель.
Чтобы отредактировать регион, определенный через Яндекс.Справочник, достаточно отредактировать карточку своей организации в Справочнике. Информация в Яндекс Вебмастере обновится автоматически в течение нескольких дней.
Оригинальные тексты
Уникальный или оригинальный текст — это текст, величина которого составляет от 500 до 32000 знаков, этого текста нет в интернете, а мы опубликовываем его на своем сайте.
Регистр имени сайта
Инструмент позволяет изменить написание адреса сайта в результатах поиска, чтобы сделать его более понятным и информативным для пользователей.
Такое изменение не влияет на результаты ранжирования в результатах поиска.
Изменения регистра должны быть направлены исключительно на улучшение читаемости имени домена и отвечать следующим требованиям:
Недопустимо более пяти заглавных букв подряд;
Нельзя изменять регистр имени сайта для интернациональных доменов. Например, сайт.рф, но не Сайт.рф;
Указываются только в нижнем регистре:
домены первого уровня — например, ru, info, com, com.ua, org.ru, net.by;
префиксы — например, www, w3, ftp.
С заглавной буквы могут начинаться имена собственные, если это не противоречит п.3. Например, Name.example.com, www.Napoleon.com;
Заглавные буквы в общеизвестных аббревиатурах или аббревиатурах, подтверждающихся контентом сайта, допустимы в соответствии с правилами русского языка. Например, NASA.com, RusPromAuto.ru;
Если все слова доменного имени разделены дефисами, то регистр можно изменять только в случаях, описанных в п.4 и п.5. Например, Moscow-one-love.ru; VTB-bank.ru;
Если доменное имя состоит из нескольких слов неразделенных дефисом, то начинаться с заглавной буквы должны все слова (www.Edison.yandex.com, но не www.Edison.yandex.com или www.Edison.yandex.com).
Быстрые ссылки
Быстрые ссылки формируются автоматически роботом Яндекса. Робот может выделить наиболее посещаемые разделы сайта и сформировать быстрые ссылки при следующих условиях:
основные разделы и страницы доступны с главной страницы сайта;
навигация по сайту продумана и логична;
названия страниц короткие, понятны и точно отражают их содержание;
ссылки, выполненные в виде картинок, имеют заполненный атрибут alt, отражающий их назначение;
содержимое элемента title совпадает с ее заголовком (выделенным элементом h1) и с текстами внутренних ссылок, которые ведут на эту страницу.
Права доступа
Подтвердив права на управление сайтом, Мы получили доступ к информации об индексировании страниц сайта роботом Яндекса. Эти данные могут содержать конфиденциальную информацию, поэтому Яндекс должен убедиться в том, что у вас есть право на управление сайтом.
Для подтверждения прав нужно внести изменения на сайт. Владелец сайта может измениться поэтому Яндекс периодически проверяет наличие изменений, подтверждающих право на управление сайтом. Если при очередной проверке эти изменения не будут обнаружены, то сайт вновь перейдет в разряд «неподтвержденных».Проверка прав может занимать до 24 часов.
Заключение
Стоит ли использовать данный инструмент при продвижении сайта - однозначно да, так как он имеет множество функций присущих именно для поисковой системы Яндекс. Что касается Гугла то скоро подготовлю еще один полноценный лонгрид. Всем удачи, надеюсь моя информация для вас была полезна!
