10 000 слов за 10 минут — KeyCollector

Приветствую.

В данной статье описан довольно легкий и мало затратный способ сбора семантического ядра за очень короткий срок.

C Карты мыслей!

При сборе семантики встает вопрос от чего отталкиваться в начале?

Перед началом определим направление тематики, по которой нам требуется собрать семантическое ядро.

Возьмем, к примеру, тематику натяжных потолков.

Первым делом нам потребуется определиться в данной тематике о наименование товаров и услуг, которые могут быть представлены сайтом.

На основе списка этих услуг или товаров мы составляем карту мыслей она же Mind Map.

Для составления карт можно использовать бесплатный инструмент mind42.com

Или его платный аналог MindJet MindManager.

Здесь показан пример составленной карты мыслей по всем имеющимся услугам на сайте.

Карта мыслей наглядно дает понять в какую сторону в дальнейшим, при расширении семантического ядра можно развиваться.

По аналогии составляем свою карту мыслей.

Опираясь на свою карту требуется составить список всех пересечений наших услуг с их описаниями, возможными геозапросами и продающими заявками.

Для этого составляем формулы, для дальнейших пересечений, которые также указываем в mind map.

Для составления карты пересечений можно воспользоваться специальным сервисом для генерации таких запросов, либо пересечь их с помощью Excel и формулы "Сцепить".

После получения такой карты пересечений мы вполне готовы к парсингу запросов в Key Collector.

Но, чтобы увеличить скорость сбора поисковых запросов для Key Collector, то советуем приобрести специальные прокси и готовые аккаунты Яндекса.

Key Collector

Key Collector – одна из программ занимающихся парсингом ключевых слов и статистики из различных сервисов включая такие, как Яндекс Wordstat, Google AdWords, Begun, и другие.

Key Collector – программа хоть и платная 1 800 за одну копию (без учета скидок), зато она не имеет платной ежемесячной подписки, а это явное преимущество над другими конкурентами.

Также хочется заметить, что она довольно быстро обновляется и реагирует на обновления сервисов.

Интерфейс программы довольно простой, а на официальном сайте есть отличное руководство по всем тонкостям работы с ним.

Перед созданием нового проекта нам потребуется настроить программу, для этого перейдем в настройки.

Из всего многообразия параметров изменять лучше лишь те, в которых вы уже разобрались, так как при неправильном их задании обычно все сводится к бану прокси серверов и/или аккаунтов Яндекса, которые используются для парсинга.

Никогда!!!! Не добавляйте сюда основные аккаунты Яндекса, так как всегда есть возможность их блокировки.

Настройки в зависимости от размера семантики

Настройки для небольшой семантики (от 0 до 1 000 ключей).

Дальше все настройки зависят от того какая скорость сбора семантика вам требуется, если семантика небольшая, то и времени на ее парсинг уйдет немного.

Тогда можно обойтись добавлением одного (не основного!) аккаунта Яндекса для парсинга и можно приступать.

• Выбираем пункт меню Yandex.Direct

• Жмем кнопку «Добавить строку»

• Вводим логин и пароль от аккаунта Яндекса 

• Нажимаем на кнопку пуск для проверки работоспособности аккаунта

• И Жмем сохранить изменения

Настройки для средних и больших семантик (более 1 000 ключей)

Сначала теория

Для настройки парсинга средних или больших семантических ядер потребуется расширить количество потоков и соответственно количество аккаунтов Яндекс Директ для ускорения сбора ключевых фраз.

Принцип сбора заключается в том, что Key Collector используя добавленные в него аккаунты Яндекса, обращается к yandex wordstat и постранично копирует все выданные запросы по ключевой фразе (если страница полная, то запросов в левой колонке ровно 50)

далее уходит в ожидание на 25-30 секунд, для избежания бана аккаунта и после этого еще раз обращается уже к следующей странице, либо к следующей фразе. В итоге получается 100 запросов в минуту, не считая перехода на другое ключевое слово, т.е. примерно 6 000 запросов в час.

Следовательно, если требуется собрать большие семантики на 10 000 – 20 000 слов потребуется от 2 часов и более.

А если у вас сразу несколько тематик и количество ключевых фраз более 100 000? На их сбор уйдет слишком много времени.

Для увеличения скорости требуется увеличивать количество потоков, при этом скорость увеличивается ровно во столько раз сколько будет добавлено потоков.

Для этого потребуется равное количество Яндекс аккаунтов и готовых прокси серверов. Их можно приобрести на специальных площадках. В среднем, цена за один прокси + один аккаунт Яндекса — 100 рублей в месяц.

Мы используем 10 прокси и соответственно 10 аккаунтов Яндекса.

Это примерно 1 000 запросов в минуту.

Перейдем к настройке

Заходим в настройки Yandex.Wordstat и отключаем галочку напротив «Использовать основной Ip-адрес»

Здесь же выставляем количество потоков равное количеству доступных нам прокси и аккаунтов Яндекса.

Если вы приобрели 10 прокси и 8 Яндекс аккаунтов, то выставляйте 8 потоков, чтобы не повышать шансы блокировки Яндекс аккаунтов.

Для дальнейшей настройки переходим во вкладку Яндекс директ.

Жмем по кнопке добавить списком и вносим сюда все аккаунты по шаблону логин:пароль.

После внесения списка аккаунтов требуется их проверить на работоспосоность:

• Пролистываем настройки чуть ниже.

• Нажимаем на зеленую кнопку запустить — все рабочие аккаунты отобразятся как зеленые, нерабочие красные.

• Выставляем количество потоков

• Снимаем галочку с использования основного ip-адреса.

Переходим во вкладку «Сеть»

• Здесь ставим галочку на пункте «Использовать прокси-серверы»

• Далее нажимаем кнопку «Добавить из буфера»

Копируем сюда прокси по шаблону адрес:порт@логин:пароль.

После добавления проверяем прокси также, как и с Яндекс директом, красные не рабочие, зеленые в полном порядке.

Нажимаем кнопку сохранить изменения.

С настройками закончили. Данных настроек вполне хватит для сбора семантики и ее частотности. На свой страх и риск можно также протестировать настройки паузы между запросами для увеличения скорости сбора.

Первичный сбор частотности ключевых фраз

Вернемся к нашей карте мыслей и нашим пересечениям запросов.

Сейчас требуется скопировать все пересечения и добавить их в key collector.

Для этого создаем новый проект.

В открывшемся окне переходим во вкладку «Сбор данных» и нажимаем на кнопку «Добавить фразы»

Вставляем полученные фразы при пересечении запросов из карты мыслей.

Жмём кнопку «Добавить в таблицу»

Нажимаем на значок директа (Сбор статистики Яндекс Директ)

В открывшемся окне задаем требуемый регион.

Проверяем наличие галочки в пункте «Целью запуска сбора статистики является заполнение колонок частот Yandex.Wordstat»

И нажимаем получить данные.

Первичный сбор статистики производить лучше именнотаким образом, так как этот метод гораздо быстрее, чем сбор статистики с помощью только одного wordstat.

Для увеличения скорости сбора семантического ядра, изначально требуется отбросить заведомо пустые запросы, чтобы лишний раз не обращаться к серверу яндекс вордстат при парсинге, что существенно экономит время.

На скриншоте с Журнала событий Key Collector отчетливо видно, что сбор занял всего минуту при 1 аккаунте. Было проверено 42 слова и большую часть из этого времени заняла авторизация.

После сбора статистики в столбце «Базовая частота [YW]» появится число отражающие количество запросов в заданном регионе за месяц.

Далее требуется отсечь те слова, у которых по этой статистике 0 запросов.

Для этого их надо отфильтровать, нажимаем на значок воронки (фильтр) рядом с названием столбца.

В открывшемся окне, выбираем условие отображения «Больше» 0.

И нажимаем «Применить».

Перед нами все фразы с частотность больше нуля.

Скопируем их.

Для этого правой клавишей мыши щелкаем по названию столбца и жмем «Скопировать колонку в буфер обмена»

Готово! Теперь можно перейти к самому важному — Парсингу.

Парсинг запросов

Первым делом создаем новую папку, комбинацией shift+t или нажатием на значок плюса в меню с группами.

Выбираем созданную папку, чтобы не дублировать запросы.

Для добавления скопированных ранее слов в парсинг, нажимаем на «Пакетный Сбор слов из левой колонки Yandex.Wordstat» (Красный значок статистики).

Проверяем, что не установлено отслеживание повторов.

Вставляем слова в открывшееся окно и нажимаем кнопку «Начать сбор»

Вот и всё, ждем окончания парсинга и продолжаем работа.

После сбора семантического ядра потребуется разгруппировать и отобрать минус слова.

Минусация

Для того, чтобы очистить от ненужных слов собранные поисковые запросы потребуется:

Зайти во вкладку «Данные»

Нажимаем на кнопку «Анализ групп»

С помощью инструмента анализ групп можно быстро как разгруппировать, так и определить минус слова из собранных ключевых фраз.

Инструмент разбивает полученные ключевые фразы на отдельные слова и объединяет фразы в которых они присутствуют.

Разберем на примере:

На скриншоте показан анализ групп по натяжным потолкам.

Напротив каждого слова проставлено количество фраз встречаемых с этим словом и суммарная их частотность.

Представим, что в дальнейшем нам потребуется создать кампанию на поиске.

Мы видим, что в верху списка есть слово фото, явно это свидетельствует о том, что человек ищет не рекламный запрос в поиске а именно фотографии с натяжными потолками. Напрямую по этому запросу рекламироваться нет особого смысла, а следовательно фото мы должны отправить к минус словам.

Для этого напротив слова ставим галочку и продолжаем поиск таких слов.

Когда запросов много советую сначала выстроить таблицу по частотности и отметить самые высокочастотные минус слова, дальше сортировать по алфавиту и пробежаться по всему списку, лучше пару раз.

После определения всех минус-слов, нажимаем правой кнопкой мыши по одному из отмеченных и выбираем пункт «Отправить 1-е слово из определений целиком отмеченных групп в окно стоп-слов»

В открывшемся окне снимаем галочки с тех слов, которые попали сюда по ошибке. Советую снять галочки со всех слов и заново отметить те слова, которые требуется занести в минусы.

Жмем «Добавить в стоп-слова»

После добавления фраз в стоп-слова сворачиваем анализ групп.

Переходим во вкладку «Сбор данных», затем нажимаем на кнопку перенос фраз в другую группу и выбираем папку корзина.

Не удаляйте ненужные ключевые фразы, а перемещайте их в корзину, потом всегда можно запарсить новые слова с учетом уже собранных или же слова могут подойти для РСЯ.

Разгруппировка

Заключительным этапом перед экспортом работы в Key Collector будет разгруппировка ключевых фраз.

Для разгруппировки отлично подойдет карта мыслей, которую мы составляли в самом начале.

Легче всего начинать с общих названий услуг.

К примеру:

• Глянцевый
  

• Матовый

• Многоуровневый

• Тканевый
  
• Пвх
  

 Дальше разгруппируйте еще более точней

• Глянцевый
• кухня
• ванная
• гостинная
• спальня
• Матовый
• кухня
• ванная
• гостиная
• спальня

И так далее, главное помнить, что в Яндексе статус "Мало показов" распространяется на группу объявлений и появляется при общей частотности группы меньше 20, из этого правила группируйте низкочастотные запросы с небольшим запасом на группу.

Для Google AdWords низкочастотные запросы не подойдут, так как там статус присваивается для ключевого слова, а не группы.

Для начала разгруппировки заходим в «Анализ Групп»

Отмечаем нужное нам слово галочкой и нажимаем правой кнопкой мыши по нему.

Выбираем пункт предпоследний пункт выпадающего меню.

В нашей группе автоматически создается новая папка с названием слова, которые мы выбрали и все слова, в которых это слово входило перенеслись в эту группу.

После разгруппировки основной группы переходим к тем, которые мы создали и также их дробим на подгруппы.

Таким образом, нам будет проще прописать текст объявлений в будущем.

По такому аналогу и распределяем на группы всё семантическое ядро.

В дальнейшем, названия этих папок будут служить нам как названия групп объявлений как в Директе так и в AdWords.

Экспорт групп ключевых фраз

Для экспорта нам потребуется:

Объединить все группы в одну мульти-группу, для этого:

Выделяем все группы которые нам нужны.

И нажимаем на значек Включения мульти-группы

После этого в верхнем меню программы нажимаем на значок экспорта в виде Excel страницы.

И сохраняем его в нужном нам месте.

Вот и всё!

В получившемся файле можно скопировать в шаблон для составления объявлений столбцы с названием групп – наши будущие названия групп объявлений и столбец с ключевыми фразами входящие в эти группы.

Таким образом, с помощью прокси-серверов, первичного сбора статистики, мы максимально уменьшаем количество времени затраченного на сбор семантического ядра.

Любые ваши хитрости и находки, как еще ускорить сбор семантики пишите в комментариях под статьей.