Всем привет, друзья! Сегодня поговорим про поисковые системы.
История поисковых систем
Когда-то не существовало поисковых систем, пользователи добавляли сайты в закладки. Интернет с каждым годом развивался, соответственно, совершенствовались и сайты, появились сайты каталоги от таких компаний как Yahoo и свободный ресурс DMOZ.
В 1994 появляется первая поисковая система WebCrawler, а в 1995 году Yahoo запускает свой поисковик.
В 1997 году появляются на рынке поисковые системы Яндекс и Google, которые по сей день остаются самыми популярными поисковыми системами в России, а Google в мире.
В 1999 году Сергей Брин и Ларри Пейдж пришли к руководству, на тот момент одной из крупнейших поисковых систем Excite, и предложили купить недавно разработанный ими поисковик Google за $1 млн, но менеджеры Excite отклонили это предложение.
Отказ Excite от приобретения Google впоследствии называли одной из крупнейших ошибок, которые когда-либо были сделаны в цифровой индустрии, так как в 2016 году стоимость Google превысила $515 млрд.
Как устроена поисковая система
Для начала дадим определение данному понятию.
Поисковая система - это сложный программный механизм, благодаря которому пользователь получает информацию на интересующий его вопрос/запрос за считанные секунды.
Большинство поисковых систем работают поэтапно. Сначала поисковый робот получает контент со страниц сайта, затем индексатор генерирует доступный для поиска индекс и, наконец, поисковая система обеспечивает функциональность для поиска индексируемых данных. Чтобы обновить поисковую систему, этот цикл индексации выполняется повторно .
Поисковые системы работают храня информацию о многих веб-страницах, которые они получают из HTML-страниц. Поисковый робот — программа, которая автоматически проходит по всем ссылкам, найденным на странице и выделяет их. Робот, основывается на ссылках или исходя из заранее заданного списка адресов, осуществляет поиск новых документов, ещё не известных поисковой системе.
Кстати сообщить о появлении новых страницах вы можете через специальные сервисы
В Яндексе - Яндекс Вебмастер
В Google - Google Search Console
Владелец сайта может исключить определённые страницы при помощи robots.txt, используя которую можно запретить индексацию файлов, страниц или каталогов сайта.
С помощью мета-тегов поисковая система определяет чему посвящена та или иная страница сайта.
Наиболее используемые мета-теги при продвижении сайта:
Мета-тег Title
Мета-тег Description
Атрибут ALT
Поисковая система Яндекс
Крупнейшей поисковой системой на данный момент в России является Яндекс. На сегодняшний момент она занимает 65% рынка, конкурируя по большей части с Google за мобильный трафик.
За 11 лет существования поисковой системы появлялось множество алгоритмов и фильтров, которые влияли на ранжирование в поисковой выдаче.
Разберем каждый по отдельности:
История алгоритмов и фильтров поисковой системы Яндекс
При основании компании в 1997 году появляются возможности поисковой системы такие как: учитывание морфологии, оценка релевантности документа по заданному запросу пользователя.
Также появляется возможность получать ответы на естественно языковые запросы. Например: где купить, куда сходить и так далее.
Вплоть до 2000 года появляется всем известный показатель ТИЦ (тематический индекс цитирования) основой которого является рассчитывание ссылок с авторитетных ресурсов на ваш сайт. Прежде всего ТИЦ был необходим для ранжирования в другом сервисе от Яндекса - Яндекс Каталог.
Более подробнее про ТИЦ я расписал в статье
Помимо этого появляется возможность искать документы задав определенные временные фильтры: часы, даты.
Первые наработки Безопасного поиска в 1999 году позволили ограничить, с помощью фильтра пользователя, от порнографии и мата.
На период с 2000 до 2004 приходится заметное увеличение обмена ссылками со стороны сайтов, что в 2005 приводит к появлению первых сервисов по автоматической закупке ссылок (тогда они назывались линкаторы).
Продвинуть сайт по-любому запросу в это время не составляло особых трудностей. К примеру, по запросу: “Кино” в ТОПе выдачи мог присутствовать сайт абсолютно некасающийся тематики - интернет-магазин автозапчастей.
Неппот-фильтр и борьба с ссылками
С 2005 до 2007 - Яндекс начинает принимать первые меры по борьбе с ссылками. Первый фильтр “Непот-фильтр” появился в 2005, который аннурировал вес ссылок сайта, который занимался закупкой/продажей ссылок.
На 2007 год приходится рассвет ссылочного продвижения. Помимо того, что вы продвигали сайт вы могли и заработать на продаже ссылок, за счёт появления бирж.
Основной задачей SEO-специалистов стала именно покупка ссылок на свой сайт.
В 2008 году появляется первый официальный алгоритм от Яндекса - 8 SP1. Суть его в том, что в ТОПе выдачи находятся старые и авторитетные сайты, которые имеют высокий Траст (степень доверия со стороны поисковиков).
Фильтрация ссылочных сайтов с каждым годом ужесточается и некоторая часть сайтов исчезает из выдачи.
Алгоритм Магадан - 2008 год
16 марта 2008 года появляется алгоритм Магадан. С этого момента Яндекс начинает называть свои алгоритмы городами России. В Магадане стало доступно несколько новых возможностей:
-
Поиск по зарубежным сайтам;
-
Учтение уникальности текста со стороны поисковой системы;
-
Классификация запросов на коммерческие/некоммерческие, геозависимые/геонезависимые.
Более подробнее про геозависимость я писал в статье:
Алгоритм Находка - 2008 год
С введением алгоритма Находка учитывается вес внутренних страниц сайта. Благодаря чему в выдаче по Среднечастотным запросам появляются не только главные страницы, но и внутренние страницы сайта. Ужесточается использование клоакинга.
Алгоритм Арзамас - 2009 год
Выдача становится персонализированной, поисковик начинает учитывать принадлежность пользователя к определенному региону. Так появился термин региональное продвижение. Алгоритм был рассчитан на 19 регионов.
Фильтр АГС-17 - 2009 год
Данный фильтр нацелен на борьбу с некачественными сайтами, например, которые используют автозаполнение.
Алгоритм Снежинск - 2009 год
По одном словным запросам (Например: костюмы, джинсы) в выдаче появились информационные сайты, которые вытеснили коммерческие. Официальное представление Матрикснет - метод машинного обучения. Теперь запросы становятся связанными между собой.
Фильтр АГС-30 - 2009 год
Фильтр исключает не только неуникальные сайты, но и те которые не несут никакой пользы для посетителя.
Алгоритм Конаково: обновление Арзамаса
Расширение региональной выдачи с 19 регионов до 1250.
Начиная с 2010 года появляется новая эра поисковых алгоритмов от Яндекса
Анти-портянки
Яндекс начинает понижать сайты за большие тексты, которые перенасыщены ключевыми словами.
Алгоритм Обнинск - 2010 год
Данный алгоритм позволил расширить и без того сложную формулу ранжирования сайтов. В первую очередь это касалось геонезависимых запросов.
Алгоритм Краснодар - 2010 год
Последовало два нововведения - первое это появление технологии Спектр. Вводя запрос “Мерлин Монро” что имеет ввиду пользователь? Ее биографию или фильмы с ее участием, или вообще название магазина? Спектр создавался с целью определить все потребности пользователя по неоднозначным запросам.
Второе нововведение - это индексация сайта Вконтакте. Теперь любой профиль можно было найти в поисковой системе.
Возможно будет полезно:
Поведенческие факторы
В 2011 году пошла первая волна пессимизации сайтов за накрутку поведенческих факторов.
Алгоритм Рекъявик - 2011 год
Усовершенствована персонализация выдачи. Появление такого понятия как колдунщики, которые появляются когда пользователь вводит определенный запрос и видит на выдаче расширенный специализированный ответ.
Алгоритм Калининград - 2012 год
Идея данного алгоритма сделать персонализированную выдачу. Пользователю предлагались варианты на основе его предыдущей истории поиска. То есть повышается вероятность появления в выдаче наиболее часто посещаемых сайтов пользователя.
В начале 2013 года начал фиксировать зараженные вирусами сайты или содержащие вредоносный код.
В сниппете поисковой выдаче сайта появляется вывод контактной информации сайта: телефон, адрес, метро, время работы.
Яндекс Острова
Данное изменение подразумевало удовлетворения пользователей без потребности посещения сайта. Например, возможность заказать, купить товар, вызвать такси не уходя из выдачи. Правда данный проект затянулся и в итоге так и не был реализован, в последствии признан многими провальным.
Фильтр АГС-40 - 2014 год
Фильтр становится автоматическим, помимо этого Поисковая система не выкидывала страницы из индекса, а обнуляла показатель ТИЦ.
В это же время происходит анонс безссылочной формы ранжирования для некоторых коммерческих тематик по региону Москва.
Алгоритм Минусинск - 2015 год
Данный алгоритм создавался с целью борьбы с ссылками. Буквально за 3 волны Минусинска, большая часть сайтов были понижены в поисковой выдаче.
Алгоритм Киров - 2015 год
Более известный в SEO-кругах, как многорукий бандит, отвечающий за рандомизацию релевантности документов в поисковой выдаче, с целью сбора поведенческой информации о пользователях сайта. Изначально алгоритм работал только в Московском регионе, впоследствии был внедрен в регионы России.
Алгоритм Владивосток - 2016 год
Учет поисковой системой мобилопригодности сайта (наличие адаптивной версии сайта к мобильным устройствам). Данный фактор влияет на мобильную выдачу поиска.
Алгоритм Палех - 2016 год
Данный алгоритм начинает использует нейронную сеть с целью определения связи запроса с документом. Цель - более точнее определять редкие запросы вводимые на естественном языке. Исследуется только заголовок документа - Title
Алгоритм Баден-Баден - 2017 год
Определение пессемизированных текстов. И как следствие понижение документов в поисковой выдачи.
Алгоритм Королёв - 2017 год
Продолжение алгоритма Палех, только учитывается не только заголовок документа, но и весь текст содержащийся на странице.
Читайте также:
Поисковая система Google
Google - является второй по популярности поисковой системой в России и первой в мире. Так же как и Яндекс, Google с каждым годом совершенствовал свою поисковую систему - появились различные алгоритмы и фильтры.
История алгоритмов и фильтров поисковой системы Google
В год основания компании Google - 1998, появляется первый алгоритм ранжирования сайтов PageRank
PageRank (PR) - это значение которое высчитывалось по следующей формуле: тем больше ссылок ведет на страницу, тем выше будет ее показатель PR. То есть идет передача веса страницы, которая ссылается на ссылаемый ресурс. Соответственно, чем более авторитетный ресурс ссылается на сайт (который имеет больший PR), тем лучше для сайта.
Google Toolbar - 2000 год
Произошел запуск Google Toolbar, который представлял собой надстройку над браузером, включающую инструменты для работы с поисковиком.
Алгоритм Hilltop - обновление PageRank
Это некое дополнение к уже имеющемуся алгоритму PageRank. Суть алгоритма в том, что более релевантные ссылки с тематических ресурсов стали более весомыми.
В 2001 году Google начинает разделять выдачу на коммерческие и некоммерческие запросы.
На 2003 год приходится большая часть алгоритмов, поэтому их стоит объединить в зависимости от типа.
Алгоритмы Boston, Esmeralda и Fritz - 2003 год
Основные изменения - обновление поисковой базы происходит раз в месяц(Boston), а в дальнейшем стало происходит каждый день (Fritz).
Алгоритмы Cassandra и Florida - 2003 год
Первый алгоритм (Cassandra), который начал наказывать за размещение скрытых текстов и ссылок на сайте. С этого момента появилось понятие Черное SEO (Dark SEO).
В ситуации с Florida наказания продолжились. Под пессимизацию попадали сайты за перенасыщенное использование ключевых слов, покупными ссылками.
В конце 2003 года SEO стало более требовательным.
Алгоритм Brandy - 2004 год
Произошло учитывание синонимов ключевых слов. Благодаря чему большая часть текстов стала оптимизирована, что конечно сказалось в положительную сторону на переспаме.
Алгоритм Bourbon - 2005 год
Данный алгоритм был призван пессимизировать сайты с дублированным контентом.
Чуть позже появилась привязка Google Maps к локальному месту. Данные обновления призвали владельцев компаний обновлять контакты в данных сервисах.
Алгоритм Jagger - 2005 год
Данный алгоритм продолжил борьбу с ссылочным влиянием на поисковую выдачу. Основной целью стали фермы, которые обменивались ссылками между собой.
Алгоритм Big Daddy - 2005 год
Цель алгоритма - предложение использовать каноникализацию страниц, а так же редиректы 301 и 302.
Более подробно читайте в статьях:
Supplemental Index - 2006 год
С данным алгоритмом поисковик получил возможность обрабатывать большое количество документов, из-за чего позиции многих сайтов заметно пошатнулись.
Алгоритм Google Suggest - 2008 год
Появление поисковых подсказок при вводе определенного запроса в Google.
Алгоритм Caffeine - 2009-2010 года
Алгоритм Кофеин позволил индексировать большое количество документов с быстрой скоростью. Новые документы стали быстрее попадать в индекс.
Алгоритм Panda (Панда) - 2011 год
Выходит один из самых известных алгоритмов в последующем - Панда. Основная цель данного алгоритма - очистить выдачу от сайтов дорвеев и некачественных сайтов, оставив только достойные.
Алгоритм Page Layot - 2012 год
Дополнение к алгоритму Panda. Цель алгоритма - избавиться от навязчивой рекламы, которая занимает внушительную часть экрана.
Алгоритм Penguin (Пингвин) - 2012 год
Второй наиболее известный алгоритм от Google употребляемый в SEO-кругах - Пингвин. Основная суть - отслеживание ссылочного профиля каждого сайта на предмет спамности, накручености. В качестве наказания происходит значительное понижение в выдачи или исключение сайта из поисковой системы.
Фильтр Exact Match Domain - 2012 год
Суть алгоритма заключается в понижении низкокачественных сайтов, продвигающихся, как правило по одному ключевому запросу, например, kupi-kvartiru.ru, где каждая страница оптимизирована под запрос купи квартиру - скорее всего такой сайт попадет под фильтр.
Алгоритм Hummingbird (Колибри) - 2013 год
Колибри был разработан с целью лучшего понимания запросов пользователей. Ранее расписанные мной алгоритмы Палех и Королев от Яндекса являются своего рода аналогом Колибри. В первую очередь Google с помощью данного алгоритма стремится предоставить пользователю более развернутые ответы на те или иные запросы.
Алгоритм Pigeon (Голубь) - 2014 год
Предоставление по геозависимым запросам компаний, сайтов, которые расположены ближе всего к вам. Факторами может служить: ваше местоположение.
Mobile-friendly - 2015 год
Алгоритм, отдающий предпочтение в мобильной выдачи адаптированным сайтам под экраны мобильных устройств. Эти данные можно проверить в Google Search Console.
Поисковая система Rambler
Поисковая система Rambler - появилась в 1996 году и стала одна из первых поисковых систем в России. Вплоть до 2000 года оставалась самой популярной поисковой системой, но впоследствии поисковик стал проигрывать конкуренцию Яндексу и доля рынка на данный момент сократилась до 1-3% от рынка.
Акцентировать большого смысла на алгоритмах поисковой системы нет, так как доля SEO трафика будет незначительна с данного поисковика.
Поисковая система Mail.ru
Поисковая система Mail.ru - является 3 по популярности в России на сегодняшний момент и захватывает от 3 до 5% рынка. Что касается алгоритмов ранжирования поисковой системы можно выделить отдельный сервис - Вебмастер от Маила, который можно использовать для продвижения в данном поисковике.
Заключение
В первую очередь при продвижении сайта в России акцентируйте внимание на поисковой системе Яндекс, а лишь затем в Google. Если у вас остались вопросы по статье, задавайте в комментариях :)
