Поисковые системы ежедневно сканируют(индексируют) более миллиарда документов, а то и больше. Среди них встречается и спам, который попадает в соответствующую категорию и его большая часть в интернете. Остальная часть документов может спокойно попасть в поиск.
Итак, выкладываю гайд как проиндексировать сайт. Для этого необходимо выполнить несколько шагов:
1. Заранее проверить что сайт не закрыт от индексации
Как правило сайт закрывают от индексации на этапе разработки. Чтобы снять это ограничение необходимо зайти в robots.txt и увидеть:
Что там написано не это:
Disallow: /
Эта фраза означает что сайт закрыт от индексации. Тут читайте более подробнее про robots.txt
Еще в Wordpress и на многих других CMS есть функция “попросить поисковую систему не индексировать сайт”. Эта функция также закрывает от индексации, поэтому галочку нужно снять.
2. Добавить сайт в Google Search Console
Googlebot ежедневно сканирует более миллиарда документов, конечно, ваш сайт он может обойти а может и нет. В любом случае добавить сайт в Google Search Console стоит обязательно.
Для этого нужно разместить код Search Console у себя на сайте. Читайте более подробнее тут
После подтверждения мы переходим на вкладку “Посмотреть как Googlebot” далее ниже появляется такая страница.
Всё просто - добавляете страницы и нажимаете “Запросить индексирование”. Справа появится дата, когда документ был отправлен на индексирование, а слева статус если он уже проиндексирован, то появится статус “Готово”.
Читайте в нашем блоге: Что такое дорвеи?
Как правило, в Google страницы индексируются чаще любой другой поисковой системы, поэтому долго ждать не придется за 1 неделю документы появятся в выдаче.
3. Добавить сайт в Яндекс Вебмастер
Если Google сканирует практически всё (даже если вы не добавили сайт в Console бот может его найти), то у Яндекса с этим проблемы. Наверное, это связано с масштабом поисковика.
Чтобы проиндексироваться в Яндексе добавьте сайт в Яндекс Вебмастер.
Подробный процесс про Вебмастер читайте в статье
После подтверждения переходим на вкладку Индексирование/Переобход страниц. Появляется поле в которое добавляем все необходимые нам URL-адреса.
После добавления снизу появится информация что Запрос отправлен ждите ответа. По окончанию обхода страницы статус в изменяется на “Робот обошел”.
Как часто происходит индексация и переиндексация в Яндексе:
Обычно индексация нового сайта занимает около 2-3 недель, а то и месяца. Все зависит от апдейтов, у Яндекса он случается 1-2 раза в 2 недели у Google почти каждый день.
Как проверить проиндексирован документ или нет?
Для этого необходимо ввести в строку поисковика следующее:
site: site.ru/page1
где site.ru – это ваш сайт
Например, мы хотим проверить проиндексировалась ли коммерческая страница на сайте для этого вбиваем в поисковик Яндекс.
Результат появился соответственно поисковая система добавила документ в свою базу.
По аналогии делаем с Google.
Читайте в нашем блоге: Что делать если попал под фильтр аффилиат
Что по поводу Bing, Rambler и прочих поисковиков?
В России ими практически не пользуются поэтому заморачиваться, чтобы попасть в их выдачу прям сильно не стоит. Например, Bing обновляет свою базу очень редко (1-2 раза в 3 месяца).
