Прокси для парсинга Yandex Wordstat. Прокси спасает от рутины на 100+ часов: мини-кейс простого рабочего

Прокси для парсинга Yandex Wordstat. Прокси спасает от рутины на 100+ часов: мини-кейс простого рабочего

Как происходит парсинг запросов из Yandex.Wordstat через Кey Collector.

Кey Collector (далее - КК) обращается к серверу Yandex.Wordstat (далее - YW), передавая запрос с помощью гет-параметров

Для парсинга поисковых запросов КК может использовать прокси при подключении к сервису. Например, для парсинга запросов из Yandex.Wordstat КК рекомендует использовать по 1 потоку на 1 IP-адрес, с задержкой от 20 до 25 секунд.

То есть одна страница запросов будет парсится около 30 секунд, что неприемлемо много, так как для частотных запросов таких страниц может быть до 41. Получается, чтобы собрать похожие запросы для 5 частотных ключей нам понадобится около 112 часов. Конечно, почему бы не сократить задержку между запросами? Всего-то нужно поставить 1 секунду и все. Не все так просто - Яндекс Wordstat/Яндекс Директ/Google Trends/Google Ads беспокоятся о работоспособности своих сервисов, поэтому адреса, с которых поступает большое кол-во запросов просто блокируются на неопределенный срок. Если вы организация, то скорее всего у вас “белый” статичный IP и изменить его будет весьма проблематично, плюс для этого нужно время. Выход из этой ситуации очень простой - прокси. Покупка 10 прокси обойдется вам в ~500 рублей на ~10 дней. Добавляем прокси в КК и теперь запросы будут совершаться с IP прокси-сервера.

А если заблокируют?

Просто покупаем еще ;) , учитывая копеечную стоимость за один адрес. Но, как всегда, есть нюанс - количество потоков ограничено аккаунтами(1 поток на 1 аккаунт) Выход все тот же - купить или создать еще аккаунтов.

Для наших проектов обычно мы используем от 10 до 15 прокси и столько же аккаунтов. В зависимости от качества прокси и доверия к аккаунту(время регистрации, подтверждение по телефону и тд) на каждый парсинг уходит разное кол-во проксей.

Для примера взяли ВЧ запрос ”колбаса” без каких либо минус-слов с регионом “Вся Россия” БЕЗ использования прокси (т.е. 1 основной IP, 1 аккаунт Яндекс.Директ).

Fuid01. PHP парсер wordstat Яндекс

Простой и бесплатный пример PHP парсера (parser) статистики ключевых слов с wordstat Яндекс.

Понятно, что перед тем как продвигать сайт, нужно определиться с ключевиками. Подбор ключевых слов это не сложный, но кропотливый труд. Для того же чтоб найти что-то стоящее, нужно перелопатить кучу данных. Поэтому здесь не обойтись без средств автоматизации процесса. В данной заметке я хочу остановиться на создании PHP парсера данных wordstat Яндекс.

И так. Основная проблема при парсинге данных с сервиса статистики ключевых слов wordstat Яндекс заключается в наличии капчи. Обойти ее не так уж и сложно. Достаточно передать в запросе куку fuid01, генерируемую при обработки капчи. Другими словами, вам понадобится зайти на сервис, сделать запрос, указав символы с картинки и получить содержание требуемой куки.

Как получить содержание куки fuid01 в браузере Firefox?

Т.к. я не собираюсь замахиваться на эпосы и прочие великие труды человечества, то опишу лишь процесс получения содержания куки fuid01 в браузере Firefox (использую версию 8.0). В общем, запускаем Firefox. Считаем, что запрос в wordstat уже сделан и кука создана. Жмем кнопку «Firefox» в левом верхнем углу окна браузера. В меню выбираем:  Настройки > Настройки  (я ничего не путаю).

В открывшемся окне «Настройки», переходим на вкладку «Приватность». Здесь нас интересует блок «История». Выбираем в списке Firefox «будет использовать ваши настройки хранения истории» и жмем появившуюся кнопку «Показать куки…».

В окне «Куки», в поле «Поиск» введите имя интересующей нас куки, т.е. «fuid01». В списке должно отобразиться найденное. Выберите одну из предложенных кук и в поле информации, выделите и скопируйте ее «Содержимое».

Как работать с PHP парсером wordstat Яндекс

Бесплатно скачать PHP парсер wordstat Яндекс можно здесь. Сразу скажу, что это лишь пример, работа которого заключается в парсинге ключевых слов и выводе их на экран, но все по порядку.

Первое, что вам надо понять – все данные представлены в кодировке UTF-8. Так что если что не забудьте сконвертировать данные. Более того, на некоторых серверах с этим может возникнуть проблема, подробней читайте тут. Следующий нюанс заключается в том, что для работы скрипта понадобится поддержка cURL. В остальном все достаточно просто.

Содержание куки fuid01 мы присваиваем переменной $fuid01. По сути, это значение задается в curl_setopt() через CURLOPT_COOKIE, но для удобства я вывел его отдельно. Далее нас интересует массив $params — это переменные, передаваемые в запросе к wordstat Яндекс. В качестве примера я ограничился простейшим вариантом, так что обошлось без динамики. В частности, парсится только первая страница выдачи: 'page' => 1, значение text получается через GET, ну а для региона выбрана  Москва : 'geo' => 1.

Понятно, что идентификатор региона, в случае если нужен другой, придется уточнять. Для этого заходим на wordstat Яндекс, кликаем ссылку «Уточнить регион…» и выбираем требуемое.

Сделав запрос, в URL надо посмотреть значение требуемого параметра. Следует отметить, что если выбрано более одного региона, их идентификаторы будут перечислены через запятую.

Дальше идет запрос к сервису статистики и парсинг данных wordstat Яндекс. Последнее имеет один небольшой нюанс. Дело в том, что wordstat Яндекс выводит статистику в виде двух таблиц: «что искали со словом…» и «что еще искали люди, искавшие…» — я же использовал только первую. Впрочем, там нет ничего сложного. Регулярные выражения достаточно простые. Думаю, разберетесь. Удачи!

Сперва нужно указать активные аккаунты yandex в настройках модуля. Общая настройка Кей Коллектора

Для работы с вордстатом понадобиться: здесь все просто, нужно отдельно зарегистрировать яндекс почту и создать там тестовую рекламную кампанию, можно с одним объявлением, можно просто черновую (без прохождения модерации и пополнения бюджета). В программе просто прописываем логин и пароль от почты и все работает.

Для работы с гугл планером понадобиться:  зарегистрировать новый аккаунт в гугл адвордс. В обязательном порядке скачать последнюю версию браузера internet explorer и зайдя исключительно через данный браузер, также создать тестовую рекламную кампанию (без бюджета и активности). Главное заполнить все настройки пользователя - указать язык и местоположение.  Фокус заключается в том, что без данных манипуляций, использовать гугл планер не получиться.

Переходим непосредственно к настройкам:

Заходим в настройки программы во вкладку Яндекс Вордстат", где выставляем следующие параметры:

- глубина парсинга - 0. Выставляя такое значение, вы будите получать обычный парсинг, но программа может автоматом парсить и в глубину, т.е. спарсив ключевые слова, она может парсить то, что уже спарсила, разбивая ключевые слова на более конкретные ключевые слова. Смысла глубокого парсинга нет, так как система будет парсить дубли, а не уникальные ключевые слова, и даже без глубокого парсинга мы все равно будем по нему показываться, так как используем основную маску. Если просто - глубокий парсинг делать не надо, выставляем значение ноль.

- парсить страницы, здесь выставляем стандартное значение - 40.

- добавлять в таблицу фразы с частотами от 1 до 99999999999. Здесь вы указываете какую частотность вы хотите видеть с парсенных ключевых слов. Есть директологи, которые не парсят все доскональна, а работают с ключевыми словами, которые имеют частотность от 10 и выше.  Я же советую вам парсить все и начинать с 1. При таком подходе у вас будет самое полное семантическое ядро, а если вы решите, что такие ключевые слова вам не нужно, то уже после парсинга, можно при помощи фильтра выделить такие ключи и удалить.

- не снимать частоты для фраз меньше или равной 0. Логика проста, нам не нужно пустые ключевые слова, которые не будут приносить трафик, поэтому такие не ищем.

- количество потоков. Если вы используете одну почту от яндекс директа, то можете смело выставлять сразу 2 потока, и таким образом программа будет работать в два раза быстрее. И если вы не используете прокси сервера, то не убираем галочку "Использовать основной IP адрес".

Далее заходим во вкладку "Яндекс Директ", где указываем адреса свои электронных почт от яндекса и пароли от них. Достаточно указать 1-2 почты.

Во вкладке "Гугл Адвордс" указываем доступы от гугл адвордс (что логично).

Собственно, это все стандартные настройки, после которых заработает кей коллектор.

Яндекс key collector. Добавление запроса в группы KeyCollector и изучение «эхо» запроса

Копируем запрос и добавляем его в группы Key Collector (скрин ниже). Идем выбирать дальше.

Давайте так же посмотрим на эхо. Эхо это правая часть колоночки вордстата (скрин) и тут есть дополнительные ключи. Такие как: подвесной потолок.

Поясню. Если вам не понятно что это такое, вот я например в этой теме не рзбираюсь и не знаю что такое подвесной потолок. Просто вбиваем этот запрос в поиск и открываем картинки. Как видим подвесной потолок это не только натяжной но и армстронг.

Это не совсем то что нужно. Открываем запрос в новой вкладке и анализируем его ключи. Видим что много лишних ключей (гипсокартон, армстронг, цена, фото, монтаж подвесного потолка, кассетный ). В общем не понятный ключ. Мы его пока не трогаем.

«Потолок цена» — тут уже интересней ключ. Смотрим картинки. Самое главное это посмотреть на выдачу. Если большинство выдачи картинок по нашей теме, как у меня видите это натяжные потолки, топ по сути ключ скорее всего подходит. Именно по картинкам. Если, конечно, тут одни армстронги — то скорее всего нам не подходит этот ключ.

Почему? Яндекс картинки выдаются сами по себе как органическая выдача. Вы вбили несколько слов и сам яндекс пытается понять, что вы имели ввиду. Скорее всего, ваши потенциальные клиенты когда вводят такой ключ они имеют ввиду что-то похожее.

Продолжаем изучать эхо. Давайте посмотрим что такое кассетный потолок. Видим по картинкам что кассетный потолок — это что-то другое. Давайте поищем в поиске сайты на эту тематику. Как видим кассетный потолок нам явно не подходит.

Дальше у нас запрос «навесной потолок», смотрим картинки. Нам подходит. Большинство фото — натяжные потолки. Открываем вкладку с ключом «навесной потолк», смотрим что тут есть. Данные запросы более или менее подходят.

Открываем Key Collector и добавляем как отдельную группу ключей в отдельную группу (папку). Для чего? Мы не собираем все в одно место, чтобы в случае если мы накосячим можно было хоть как то откатить.

Смотрим дальше выдачу. Реечный потолок, открываем картинки. Тут явно не то, что нужно.

Давайте посмотрим еще раз на лендинге примеры потолков (скрин ниже). У нас есть: матовые, глянцевые, сатиновые, многоуровневые, с фотопечатью. Мы еще возьмем эти слова, обязательно. Пока мы смотрим основное, что может быть.

Wordstat интеграция с другими инструментами. 3 лучших расширения Яндекс Wordstat

Статья

149830

Если собирать ключи из сервиса Яндекс Wordstat по старинке, то есть вручную, это займет много времени и сил. Есть альтернативный вариант – автоматизация с помощью специальных расширений (плагинов для браузера).

В этой статье мы рассмотрим самые популярные расширения – Yandex Wordstat Assistant, Yandex Wordstat Helper и WordStater – как их устанавливать и как ими пользоваться.

Базовые функции

Для начала приведем список действий, которые доступны во всех расширениях:

1) Вы можете формировать списки ключевых фраз внутри плагина на основе таблиц Wordstat, доступны функции как добавления отдельных ключей, так и удаления, в том числе очистки всего списка в один клик;

2) Помимо фраз из выдачи Wordstat есть возможность добавлять собственные ключевые фразы в интерфейсе расширений;

3) В каждый плагин встроены счетчики количества фраз и частотности – то есть можно посмотреть по получившемуся списку общее количество ключей и суммарную частотность;

4) Для удобства работы можно сортировать список по частотности, алфавиту и порядку добавления;

5) Полученный список фраз можно скопировать в один клик;

6) При закрытии Вордстата все данные сохраняются в аккаунте, под которым вы их добавляли.

Всеми плагинами можно пользоваться бесплатно.

Далее мы рассмотрим алгоритм установки и как пользоваться этими и другими функциями в каждом из расширений.

Yandex Wordstat Assistant

Расширение устанавливается в 3 простых шага:

1) Скачайте актуальную версию расширения для браузера, в котором работаете с Яндекс Wordstat: Google Chrome , Mozilla Firefox , Opera или Яндекс Браузер .

Для всех браузеров алгоритм одинаковый. Мы покажем, как устанавливать и пользоваться возможностями Wordstat Assistant, на примере Google Chrome.

2) Нажмите кнопку для установки:

3) Подтвердите, что собираетесь установить расширение:

На этом всё готово, остается проверить, установилось ли расширение.

Если всё корректно, вы увидите:

• Значок с таким уведомлением – теперь он всегда будет отображаться в вашем браузере.

Яндекс wordstat. Сервис подбора слов

Подбор слов (wordstat) — это сервис, который помогает получить информацию о запросах пользователей Яндекса. Например, он позволяет узнать, сколько людей в месяц ищут ту или иную фразу, и посмотреть запросы, похожие по смыслу на вашу фразу.

Начало работы

Вы можете воспользоваться формой подбора слов из интерфейса Директа. Для этого нажмите кнопку Подобрать слова в блоке Новые ключевые фразы и введите ключевую фразу.

Чтобы воспользоваться всеми возможностями сервиса, такими как выбор региона и типа устройства пользователя, перейдите в сервис. Подбор слов доступен только авторизованным пользователям.

По умолчанию статистика показывается для всех регионов и всех типов устройств. Срез Десктопы включает запросы на настольных компьютерах и ноутбуках, срез Мобильные — на телефонах и планшетах. Посмотреть данные о запросах на телефонах или планшетах отдельно можно с помощью срезов Только телефоны и Только планшеты соответственно.

Цифра рядом с каждым запросом обозначает прогнозируемое количество показов в месяц, которое вы можете получить, выбрав этот запрос в качестве ключевой фразы. При составлении прогноза система использует данные за последние 30 дней до даты обновления статистики. Данные считаются системой только для страницы результатов поиска Яндекса , без учета запросов, сделанных пользователями на поиске Рекламной сети Яндекса .

Как пользоваться сервисом

Например, в Директе вы размещаете рекламу бригады по ремонту квартир и хотите добавить к вашему объявлению ключевую фразу ремонт . Введите эту фразу в сервисе подбора слов. По данным левого столбца видно, что ремонт — популярный запрос (11 млн показов в месяц). Но он не отражает, чем интересовался покупатель: ремонтом квартир, машин или телефонов.

Чтобы объявления не показывались по популярным, но неподходящим для вас запросам, в Директе замените ключевую фразу ремонт на ремонт квартир . Уточнить фразу ремонт можно и с помощью минус-слов. Если добавить минус-слова машин и телефонов , объявление не будет показываться по популярным запросам ремонт машин и ремонт телефонов .

При работе с сервисом можно использовать. Операторы работают на вкладках По словам и По регионам . На вкладке История запросов работает только оператор+.

Посмотрите запросы из правого столбца. Пользователей, искавших ремонт квартир , может заинтересовать отделка квартир и натяжной потолок . Добавьте в список ключевых фраз вашего объявления в Директе те, которые соответствуют целям вашей рекламы.

История запросов

Чтобы понять динамику интереса пользователей к вашей тематике, перейдите на вкладку История запросов . Здесь вы увидите данные за последние 2 года, сгруппированные по месяцам, а также график активности пользователей.