Все, что нужно знать о исходных данных для парсера Ozon

Все, что нужно знать о исходных данных для парсера Ozon

Задача:

Выгрузить из заданных разделов сайта ozon.ru максимум доступной информации о товарах: наименование, цену и скидки, наличие и остатки, рейтинг и количество отзывов, описание, ссылки на изображения и характеристики товара.

ВАЖНО: Парсер для сайта OZON временно не продаётся !

В конце февраля 2021 года сайт стал блокировать работу парсера, после 30-50 товаров (сайт блокирует доступ на полчаса-час). Пока нет решения для обхода этой проблемы . Что-нибудь придумаю позже (много кто покупал этот парсер, работу его в любом случае надо восстанавливать), но в данный момент пока не получается собирать данные с этого сайта.

Перед запуском парсера ozon, нужно на вкладке Исходные данные в настройках парсера указать, какие разделы сайта нужно обработать .

Исходными данными могут являться:

• ссылки на разделы / подразделы сайта
• ссылки на бренды
• поисковые фразы(или ссылки на результаты поиска)
• ID товаров (или ссылки на товары)

После этого, на вкладке Основная информация можно проверить и задать подходящие значения параметров парсера .

ВАЖНО : ознакомьтесь со списком особенностей парсера Озон , а также с перечнем возможных ошибок при парсинге ozon .

Парсер выводит в Excel всю доступную информацию о товарах , в том числе ту, которая не отображается на страницах сайта (например, остатки товаров по складам)

Ознакомьтесь с полным перечнем выводимых на лист столбцов
(пример результата можно увидеть на скриншоте под заголовком статьи, и также в прикреплённом файле Excel)
Вы можете отключать любые ненужные столбцы в настройках парсера , а также менять порядок их вывода на лист.

Есть возможность скачивать изображения товара в папку под именами вида 7899936-1.jpg (Артикул-НомерФото.jpg).
По умолчанию, скачивание изображений отключено. Включить можно установкой галочки Выполнять загрузку файлов в настройках парсера на вкладке Основная информация

---

К статье прикреплен тестовый файл настроек парсера WB (в начале статьи, под скриншотом)

Обязательно скачайте и протестируйте парсер перед покупкой!
( инструкция по добавлению файла настроек в программу-парсер )

Стоимость готового решения ( 6300 руб ) включает в себя :
стоимость настройки под OZON 3000 рублей
плюс
стоимость программы-парсера 3300 рублей (если вы ранее не покупали надстройку «Parser»)

При покупке этого парсера, вы получаете аналогичный файл настроек, только без затирания части данных словом «test».
Вам останется только заменить файл настроек в папке Настройки парсеров .

Чтобы купить, оплачиваете ( после тестирования парсера! ) указанную выше стоимость удобным вам способом , и потом пишете на почту или в скайп , куда когда сколько и за что оплатили .

Связанные вопросы и ответы:

Что такое исходные данные для парсера Ozon

Ознакомьтесь с важной информацией, касающейся использования парсера сайта ozon :

1. По умолчанию, скачивание файлов выключено .
   Галочка для включения есть на первой вкладке окна настроек (« Выполнять загрузку файлов »)
2. Некоторые столбцы по умолчанию не выводятся
   В настройках парсера, на вкладке Вывод на лист , можно посмотреть список столбцов, и включить / отключить нужные столбцы.
   Можно менять порядок столбцов в настройках парсера.
3. На выходе (на листе Excel) может оказаться меньше товаров, чем в каталоге .
   Это связано с тем, что в каталоге сайт Озон изредка отображает товары, при щелчке на которых сайт пишет «Страница не найдена»
   (в таблице Excel для таких товаров в столбце Тип наличия стоит значение 5 - товар снят с сайта)
   Но таких товаров мало (примерно 1 из 1000)
4. Парсер обрабатывает категории с любым количеством товара , но не рекомендуется задавать ссылки на гигантские категории (типа категории Книги , где больше 3 млн товаров)
   Размер категории в 200-300 тыс товаров — нормально. Больше миллиона если, — то не влезет на лист.
5. Парсер выводит 99-100% товаров .
   Не всегда можно вывести 100% товаров, когда в категории больше 150 тыс товаров, из которых 12 тысяч по одной и той же цене.
   В этом случае, парсер не сможет добраться до 2000 товаров, так как сайт ozon устроен таким образом, что по любому запросу / выборке можно получить максимум 10 тыс товаров.
   Если в разделе 12 тысяч товаров по одинаковой цене 100 руб ( пример ), то добраться до всех этих 12 тысяч товаров весьма проблематично (нужно комбинировать различные способы сортировки, и то не факт что это выдаст все товары), потому, это не реализовано.
   В большинстве случаев, у вас будут выводиться все 100% товаров из каталога.
6. Насчёт прокси : работу парсера через прокси я не тестировал, поскольку такой необходимости пока не было.
   Тестировал загрузку больших разделов: как минимум 40 тысяч товаров грузит без проблем, блокировок не наблюдается.
   Но если вдруг начнутся ограничения доступа со стороны сайта, можно подключить прокси-серверы .
7. В стоимость парсера НЕ ВХОДИТ его техподдержка (обновление настроек парсера при изменениях на сайте).
   Исправления будут вноситься за дополнительную плату, но недорого (около 500 руб за каждое обращение).
   Как часто сайт будет меняться, не известно. Парсер может проработать год без доработок, а может перестать выводить данные (полностью или частично) через неделю. Тут от нас ничего не зависит, — на всё воля Озона.
8. Через меню программы Дополнительно — Таблицы замены можно изменить:
   - названия столбцов с характеристиками (можно также отключить вывод ненужных характеристик)
   - названия разделов и подразделов
   - текст, выводимый в столбце Наличие (есть / нет)
9. В апреле 2020 года ozon включил защиту от ботов (выполняется проверка на использование браузера), и в очередной раз сильно поменял внутреннюю структуру данных.
   Защиту удалось обойти, но не факт, что на вашем компьютере всё заработает.
   Потому, обязательно протестируйте парсер на своём компьютере перед покупкой .
10. С апреля 2020 года со страниц товара исчезла информация об остатках товара, потому, парсер вынужден добавлять каждый товар в корзину, — только так мы можем узнать, сколько товара есть в наличии. Это замедляет процесс парсинга (в минуту парсер теперь выводит около 20 строк).
    Это может быть критично, если вы намерены собирать данные из крупных разделов сайта.

Какие данные можно получить с помощью парсера Ozon

Теперь ядро нашей системы знает, из каких кубиков состоит Ozon. У нас есть информация обо всех виджетах, параметрах и действиях. Также мы знаем, какой сервис в системе какие кубики предоставляет и как эти кубики связаны между собой. 

Нужно определить набор инструкций — правил, по которым ядро будет собирать витрину из заданных элементов. И далее я расскажу о том, как задаётся конфигурация для сборки страниц и какие преимущества мы получаем от разбиения системы на небольшие части.

Как выбрать нужную страницу

Сначала определим, что такое страница и что видит пользователь, когда открывает какую-нибудь страницу Ozon. 

У любой страницы есть два основных элемента: визуальная часть — композиция из виджетов, которую далее мы будем называть шаблоном , и правило, по которому этот шаблон выбирается. 

Скорее всего, вы уже задаётесь вопросом: зачем всё так усложнять? У каждой страницы ведь есть адрес, который её определяет. Почему бы просто не использовать URL? Открывает пользователь страницу https://ozon.ru / — так давайте сразу покажем ему шаблон главной. И так действительно можно было бы делать, если бы Ozon не был такой крупной и вариативной системой. Сейчас у нас есть десятки (если уже не сотни) различных вариантов компоновки главной страницы. Визуальное представление только домашней страницы может кардинально отличаться в зависимости от того, зарегистрирован пользователь или нет, в каком A/B-эксперименте он находится, из какого города открывает сайт и так далее. И эти условия могут меняться по несколько раз в день. 

Конечно же, логика выбора страницы на основе гибких правил добавляет новые требования к ядру системы, так как именно оно определяет, какие виджеты будут отрисовываться на странице:

Композиция виджетов, которую видит пользователь, определяется набором гибких условий и не требует изменений в коде сервисов при редактировании.

Параметры, по которым создаются условия, могут в любой момент добавляться и изменяться.

Как правильно собрать исходные данные для парсера Ozon

выбираемый маркетплейс — ozons

В настоящее время в поисковой выдаче Озона показываются цены по озон-карте и старые (перечеркнутые) цены. Если цены по озон-карте в карточке нет — будет показана обычная цена. Из-за этого парсинг поисковых ссылок не очень пригоден для мониторинга цен на своих или чужих карточках, если только ваша аналитика не умеет делать выводы, исходя из имеющихся данных. Например, можно отслеживать изменения цен, и уже для измененных запускать парсинг карточек товара.

Распространенное применение парсера поисковых страниц — поиск ссылок на карточки товара.

Данные будут собраны с первой страницы результатов поиска OZON, в качестве поискового запроса — название и/или бренд, артикул из вашего задания.

На картинке — пример страницы, с которой собираются ссылки.

Несмотря на то, что поисковый запрос в данном случае максимально подробный, в результатах поиска уже присутствует не тот товар — линзы с другой оптической силой.

К поисковым ссылкам относится также страницы с перечнем товаров бренда или продавца.

Важно: максимальное количество предложений в выдаче — 10000. Если в запросе (на странице бренда/категории/селлера) больше результатов — используйте доступные фильтры, чтобы разбить задачу на части.

donotsearch: Этот параметр ограничивает максимальное количество результатов, что важно для контроля расходов. Если значение поля 0 или отсутствует — будут включены результаты только с первой страницы (до 36 штук).

Сортировка результатов — только по умолчанию, в противном случае по запросу «смартфон ***» на первых местах могут оказаться чехлы для этого смартфона. Вы можете на свой страх и риск изменить сортировку таким же образом, как и фильтры.

Какие инструменты можно использовать для сбора исходных данных для парсера Ozon

Блокировка аккаунта - это самый серьезный вид санкций на Ozon и к этому шагу площадка прибегает в самых крайних случаях. Сейчас расскажу: чего такого нужно натворить, чтобы Озон заблокировал вам аккаунт.

Итак, первое, что вы можете сделать - не отвечать на запросы сотрудников отдела контроля качества Ozon. Озон такое не любит и постоянно по этой причине блокирует селлеров. Также вам необходимо оперативно предоставлять документы на ваши товары, в случае если площадка их запросила.

Второе, что можно натворить - это нарушать условия вашего договора с Ozon. Я, надеюсь, вы такой же задрот, как и я, и что этот договор вы перечитал (прежде чем подписывать) и уже знаете про запрет на дублирование карточек своих товаров и что запрещено указывать в описании/изображениях/Rich-контенте/характеристиках вашего товара недостоверную информацию.

Третья причина, почему у вас могут заблокировать аккаунт - это продажа запрещенных товаров. Я сейчас перечислю несколько категорий товаров, которые запрещены к продаже не Ozon, чтобы вы примерно понимали. Итак, что запрещено к продаже:

1. Адаптеры ремня безопасности
2. Алкогольная продукция
3. Бескаркасные детские кресла
4. Оружие и боеприпасы к нему. Ну и все из этой категории: взрывчатку, патроны, порох и так далее
5. Дорожные знаки
6. Драгоценные металлы
7. Животных
8. Живые растения
9. Кальяны и бонги
10. Капканы
11. Лекарства
12. Наркотические и психотропные вещества, разумеется
13. Ртутные термометры
14. БУ товары
15. и многое другое

Т.е. если вы какой-то из этих товаров добавите в свой ассортимент, то Озон тут же все товары заблокирует, деактивирует личный кабинет и в одностороннем порядке расторгнет договор. Поэтому будьте крайне внимательны.

Четвертая причина, почему могут заблокировать аккаунт - это продажа фальсифицированной или же контрафактной продукции. Т.е. если Ozon заподозрит ваш товар в фальсификации, то он заблокирует ваши товары и с высокой долей вероятности весь магазин. При этом площадка направит вам уведомление, которое вы сможете обжаловать и восстановить доступ.

И пятая, думаю, самая распространенная причина блокировки аккаунта на Ozon - это нарушения в общении с покупателями. Какие вообще виды нарушений бывают:

• ну, понятно, что это использование ненормативной лексики и использование оскорбительных выражений
• также нельзя предоставлять информацию, которая нарушает законодательство России
• нельзя сравнивать себя с конкурентами, унижая конкурентов и их продукцию
• запрещено обмениваться с покупателями личными контактами
• не стоит предлагать покупателям предлагать оплачивать товар вне Ozon, напрямую на ваши реквизиты или еще как-то
• запрещено упоминать в переписке свои сторонние ресурсы (сайты, соц сети и тп).