Эффективные стратегии парсинга данных, которые помогут избежать бана

Эффективные стратегии парсинга данных, которые помогут избежать бана

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

Чтобы избежать получения бана от сайтов, вы можете поставить меньшее количество потоков и подобрать паузу между запросами. Количество потоков и пауза между запросами выставляются во вкладках “контент” и в сканере сайтов (кнопка на панели инструментов). Во вкладке “ссылки” всегда используется только 1 поток, в этой вкладке вы можете выставить только паузу между запросами (время ожидания между обращениями к сайту).

Например, чтобы парсить Контакт, достаточно выставить 1 поток и паузу между запросами 1100 (указывается в МС, 1100 МС = 1,1 секунде). А вот, чтобы парсить Авито требуется выставить 1 поток и паузу между запросами 10000-12000 (если указать паузу в виде диапазона, то время паузы будет выбираться случайным образом из указанного диапазона при парсинге каждого документа).
Примечание: Вышеуказанные примеры могут быть неактуальны (так как сайты, случается, меняют свою методику защиты от парсинга).

Также вы можете использовать список прокси-серверов, чтобы скрыть ваш IP при обращении к сайту. При выполнении каждого запроса будет браться следующий прокси-сервер из списка (и так далее по кругу). Список прокси вы можете задать в “меню” – “сервис” – “список прокси (ctrl+r)”.

Примечание: Библиотека Indy поддерживает только HTTP-прокси, библиотека Clever Internet Suite поддерживает все виды прокси, а Internet Explorer (DOM) и вовсе не поддерживает прокси (сменить библиотеку запросов можно в ctrl+h).

Связанные вопросы и ответы:

Какие методы могут помочь избежать блокировки при парсинге

Строим защиту от парсинга. Часть 1: основные принципы предотвращения парсинга

Alexander Antipov

Сбор больших объемов пользовательских данных третьими лицами может привести к крупным штрафам, ущербу для репутации и вреду для пользователей. Поэтому администраторам необходимо знать техники предотвращения скрапинга данных и защиты от злонамеренного сбора информации.

Скрейпинг (парсинг) – автоматизированное извлечение данных из веб-приложений. Существует множество мотивов для парсинга: от хакеров, пытающихся собрать большое количество телефонных номеров и адресов электронной почты для последующей продажи, до правоохранительных органов, извлекающих фотографии и пользовательские данные из социальных сетей, чтобы помочь в раскрытии дел о пропавших без вести.

Защита от парсинга (Anti-Scraping) относится к набору тактик, техник и процедур ( Tactics, Techniques and Procedures, TTPs ), направленных на то, чтобы максимально затруднить сбор данных. Хотя полностью предотвратить скрейпинг невозможно, усложнение парсерам обход защиты приложения, скорее всего, отпугнет злоумышленника.

Основные принципы защиты от парсинга

В технике Anti-Scraping есть 5 основных принципов:

• Требование аутентификации;
• Установка ограничения количества запросов (Rate Limits);
• Блокировка создания аккаунтов;
• Установка ограничения на данные;
• Возврат сообщений об ошибках.

Принципы могут показаться простыми в теории, но на практике они становятся все более сложными с увеличением масштаба. Защита приложения на одном сервере с сотнями пользователей и десятью конечных точек — вполне решаемая задача.

Однако работа с несколькими приложениями, разбросанными по глобальным дата-центрам с миллионами одновременных пользователей, — это совершенно другое дело. Кроме того, любой из принципов, принятый неправильно, может помешать работе пользователя.

Если установить ограничение количества запросов, то сколько именно запросов в минуту пользователь может отправлять? Если ограничение слишком строгое, то обычный пользователь не сможет использовать приложение, что неприемлемо для бизнеса. Надеемся, что дальнейшее углубление в эти темы поможет понять, какие решения организации могут попытаться внедрить, и какие препятствия могут возникнуть на пути.

Поддельный сайт

Поддельный сайт с публикациями пользователей будет использоваться для демонстрации взаимодействия между защитниками, усиливающими защиту своего приложения, и парсерами, обходящими эти средства защиты. Все пользователи и данные были сгенерированы случайным образом. Приложение имеет типичные рабочие процессы входа в систему, создания учетной записи и восстановления забытого пароля.

После входа в приложение пользователю показываются 8 рекомендованных постов. В правом верхнем углу есть панель поиска, которую можно использовать для поиска конкретных пользователей.

Кроме того, у каждого пользователя есть страница профиля с информацией о нём (имя, email-адрес, биография, дата рождения, номер телефона) и его постах (дата, содержание, комментарии).

Попыток ограничить скрейпинг не предпринималось. Давайте посмотрим, насколько сложно собрать все 500 000 фальшивых пользователей на платформе.

Как определить, что мой скрапер вызывает подозрения у веб-сервера

Веб-скрейпинг стал важным инструментом для автоматизированного сбора информации в Интернете. Он является частью маркетинговых информационных систем (MIS) для формирования баз данных или банков данных, благодаря которым нужные сведения предоставляются в форме табличных отчетов. Технологии работы поисковых систем, агрегаторы контента также взаимосвязаны с программами веб-скрейпинга.

Веб-скрейпинг представляет собой форму копирования данных, в которой определённая необходимая для получения информация собирается из Интернета и аккумулируется, как правило, в центральную локальную базу данных или электронную таблицу, для последующего извлечения или анализа. Программное обеспечение для скрейпинга веб-страниц может получить доступ к всемирной паутине непосредственно с помощью протокола передачи гипертекста, а также через веб-браузер.

Полученное содержимое страницы можно анализировать, переформатировать, копировать данные в электронную таблицу и так далее. Веб-скрейпинг обычно берёт часть данных из страницы, чтобы использовать её для другой цели. Примером скрейпинга может служить поиск на различных сайтах и копирование имен, телефонных номеров, электронных адресов, URL -адресов определённой тематики для создания базы контактов.

В основном веб-скрейперы решают следующие задачи:

.

Веб-скрейпинг может быть как самостоятельным инструментом и служить для целевого поиска информации, также он может стать компонентом веб-разработок, используемых для веб-индексации, веб-майнинга и интеллектуального анализа данных, онлайн-мониторинга, изменения цен и их сравнения, для наблюдения за конкуренцией, и другого сбора данных.

Какие параметры запроса лучше всего настроить для минимизации шансов на блокировку

В PostgreSQL используется множество самых разных механизмов, которые служат для блокировки чего-либо (или по крайней мере так называются). Я поэтому начну с самых общих слов о том, зачем вообще нужны блокировки, какие они бывают и чем отличаются друг от друга. Затем мы посмотрим, что из этого разнообразия встречается в PostgreSQL и только после этого начнем разбираться с разными видами блокировок подробно.Блокировки используются, чтобы упорядочить конкурентный доступ к разделяемым ресурсам.Под конкурентным доступом понимается одновременный доступ нескольких процессов. Сами процессы могут при этом выполняться как параллельно (если позволяет аппаратура), так и последовательно в режиме разделения времени — это не важно.Если нет конкуренции, то нет нужды и в блокировках (например, общий буферный кеш требует блокировок, а локальный – нет).Перед тем, как обратиться к ресурсу, процесс обязан захватить (acquire) блокировку, ассоциированную с этим ресурсом. То есть речь идет об определенной дисциплине: все работает до тех пор, пока все процессы выполняют установленные правила обращения к разделяемому ресурсу. Если блокировками управляет СУБД, то она сама следит за порядком; если блокировки устанавливает приложение, то эта обязанность ложится на него.На низком уровне блокировка представляется участком разделяемой памяти, в котором некоторым образом отмечается, свободна ли блокировка или захвачена (и, возможно, записывается дополнительная информация: номер процесса, время захвата и т. п.).

Можно заметить, что такой участок разделяемой памяти сам по себе является ресурсом, к которому возможен конкурентный доступ. Если спуститься на уровень ниже, мы увидим, что для упорядочения доступа используются специальные примитивы синхронизации (такие, как семафоры или мьютексы), предоставляемые ОС. Смысл их в том, чтобы код, обращающийся к разделяемому ресурсу, одновременно выполнялся только в одном процессе. На самом низком уровне эти примитивы реализуются на основе атомарных инструкций процессора (таких, как test-and-set или compare-and-swap).

После того, как ресурс больше не нужен процессу, он освобождает (release) блокировку, чтобы ресурсом могли воспользоваться другие.Конечно, захват блокировки возможен не всегда: ресурс может оказаться уже занятым кем-то другим. Тогда процесс либо встает в очередь ожидания (если механизм блокировки дает такую возможность), либо повторяет попытку захвата блокировки через определенное время. Так или иначе это приводит к тому, что процесс вынужден простаивать в ожидании освобождения ресурса.

Иногда удается применить другие, неблокирующие, стратегии. Например, механизм многоверсионности позволяет нескольким процессам в ряде случаев работать одновременно с разными версиями данных, не блокируя друг друга.

Защищаемым ресурсом в принципе может быть все, что угодно, лишь бы этот ресурс можно было однозначно идентифицировать и сопоставить ему адрес блокировки.Например, ресурсом может быть объект, с которым работает СУБД, такой как страница данных (идентифицируется именем файла и позицией внутри файла), таблица (oid в системном каталоге), табличная строка (страница и смещение внутри страницы). Ресурсом может быть структура в памяти, такая как хеш-таблица, буфер и т. п. (идентифицируется заранее присвоенным номером). Иногда даже бывает удобно использовать абстрактные ресурсы, не имеющие никакого физического смысла (идентифицируются просто уникальным числом).На эффективность блокировок оказывают влияние много факторов, из которых выделим два.

• Гранулярность (степень детализации) важна, если ресурсы образуют иерархию.
  Например, таблица состоит из страниц, которые содержат табличные строки. Все эти объекты могут выступать в качестве ресурсов. Если процессы обычно заинтересованы всего в нескольких строках, а блокировка устанавливается на уровне таблицы, то другие процессы не смогут одновременно работать с разными строками. Поэтому чем выше гранулярность, тем лучше для возможности распараллеливания.
  Но это приводит к увеличению числа блокировок (информацию о которых надо хранить в памяти). В таком случае может применяться повышение уровня (эскалация) блокировок: когда количество низкоуровневых, высокогранулярных блокировок превышает определенный предел, они заменяются на одну блокировку более высокого уровня.
• Блокировки могут захватываться в разных режимах .
  Имена режимов могут быть абсолютно произвольными, важна лишь матрица их совместимости друг с другом. Режим, несовместимый ни с каким режимом (в том числе с самим собой), принято называть исключительным или монопольным (exclusive). Если режимы совместимы, то блокировка может захватываться несколькими процессами одновременно; такие режимы называют разделяемыми (shared). В целом, чем больше можно выделить разных режимов, совместимых друг с другом, тем больше создается возможностей для параллелизма.

Существует ли универсальный способ парсинга данных без риска бана

Как естественна сама идея парсинга (всегда интересно поглядеть, что там у «соседей» происходит), так же просты и базовые способы его реализации. Если хочешь узнать — спроси, но, если хочется знать актуальные значения большого массива данных (будь то цены на товары, их описания, доступные для заказа объёмы или горячие скидки), то «спрашивать» придется много и часто. Понятно, что никому и в голову не придет пытаться собирать эти данные вручную (разве что большой бригаде трудолюбивых ребят из южных стран, вдохновленных не самым гуманным способом), поэтому в ход идут простые действенные решения в лоб: «сваять» сайт, настроить браузер, собрать ботов — и «простукиваем» целевой сайт на предмет интересующих показателей, ответы тщательно записываем в «блокнот» удобного формата, собранные данные анализируем, повторяем.Вот некоторые подходы к «технике парсинга» от наших читателей и от нас:

1. «Ферма Selenium — и вперёд!» (Имеются в виду headless-браузеры с BeautifulSoup-подобным, как у Selenium/Splinter, решением). Как говорит наш читатель, он написал маленький сайт на кластере docker swarm жене для мониторинга сайтов продавцов (она импортер), чтобы те не нарушали политику по ррц/мрц (рекомендуемые розничные цены). По отзывам автора, всё работает стабильно, экономика парсинга сходится — «все затраты это 4 ноды по 3$». Правда, товаров у гордого автора всего около тысячи и сайтов в парсинге десяток, не больше :)
2. «Запускаем Хромиум и все ОК, получается 1 товар в 4-5 секунд можно брать…». Ясное дело, что ни один админ не обрадуется подскочившей нагрузке на сервер. Сайт, конечно, для того и нужен, чтобы предоставлять информацию всем интересующимся, но «вас много, а я один», поэтому особо рьяно интересующихся, само собой, игнорируют. Что ж, не беда: на помощь приходит Chromium — если браузер стучится на сайт в режиме «нам только спросить» — ему можно и без очереди. Ведь в общем массиве задач парсинга в 90% случаев делается парсинг html-страниц, а в «особо тяжких случаях» (когда сайты активно защищаются, как тот же Яндекс.Маркет, просящий капчу) справляется именно Chromium.
3. «Чистые прокси своими руками из LTE-роутеров/модемов». Есть вполне рабочие способы настроить чистые прокси, годные для парсинга поисковых систем: ферма 3G/4G-модемов либо покупка прокси «белых» вместо набора случайных «грязных» прокси-серверов. Тут важно, какой язык программирования используется для такого промышленного парсинга — 300 сайтов в день (и правильный ответ — .Net! :). На самом деле, в Интернете полно сайтов с открытыми списками прокси, 50% из которых вполне рабочие и с этих сайтов не так уж сложно парсить списки прокси, чтобы потом с их помощью парсить другие сайты :)… Ну мы так делаем.
4. Ещё один кейс в пользу Selenium: «Сам занимаюсь парсингом (но не в рунете, а ловлю заказы на любимом всеми upwork.com, там это обычно зовётся scraping, более подходящий термин, имхо). У меня немного другое соотношение, где-то 75 к 25. Но в целом да, если лень или сложно — то уж от selenium пока никто не уворачивался :) Но из нескольких сотен сайтов, с которыми приходилось работать, ни разу не доходило до распознавания картинок, чтоб получить целевые данных. Обычно, если данных нет в html, от они всегда подтягиваются в каком-нибудь json (ну, собственно, ниже уже показали пример).
5. «Укротители Python-ов». И ещё кейс читателя: «На прошлой работе использовал Python/Scrapy/Splash для 180+ сайтов в день разного размера от prisma.fi и verkkokauppa.com до какой-то мелочи с 3-5 продуктами. В конце прошлого года арендовали у Hetzner вот такой сервер (https://www.hetzner.com/dedicated-rootserver/ax60-ssd) с Ubuntu Server на борту. Большая часть вычислительных ресурсов пока что простаивает.
6. «WebDriver — наше всё». Занимаясь в целом автоматизацией (куда уже и парсинг попадает), настолько достоверной, на сколько это возможно (задачи QA). Хорошая рабочая станция, десяток-другой браузеров параллельно — на выходе очень злая-быстрая молотилка.

Как важна эффективная ротация IP-адресов при парсинге

Многие авторитетные провайдеры прокси, такие как BrightData, GeoSurf, Luminati, Oxylabs, Smartproxy и т. д., предлагают услуги резидентных прокси.

Вот сравнение функций пяти лучших резидентных прокси-провайдеров:

Поставщик	Локация	Размер пула IP	Модели оценки	Особенности	Обзоры
БрайтДата	Страны 195 +	40 млн + IP	Подписка, оплата по мере использования	Обратное подключение, прямые подключения, прикрепленные сеансы, Whitelabel	4.7/5
Геосерфинг	Страны 195 +	10 млн + IP	Подписка, оплата по мере использования	Геотаргетинг, ротация IP-адресов, анонимизация сканеров	4.8/5
Luminati	Страны 195 +	40 млн + IP	Плата за электроэнергию вы-го	P2P IP-адреса, геотаргетинг, ротация IP-адресов	4.1/5
Оксилабс	Страны 195 +	40 млн + IP	Подписка, оплата по мере использования	Backconnect, снятие отпечатков пальцев веб-браузера, геотаргетинг	4.5/5
Смартпрокси	Страны 195 +	10 млн + IP	Подписка, оплата по мере использования	Неограниченное количество потоков, API-интерфейсы разработчика, SOCKSПоддержка 5	4.9/5

В зависимости от вашего варианта использования выберите провайдера, который предлагает жилые IP-адреса в необходимых вам местах с функциями, соответствующими вашим потребностям.

Я бы рекомендовал начать с BrightData или Oxylabs, если вам нужны действительно большие пулы IP-адресов для массового одновременного парсинга. GeoSurf и Smartproxy отлично подходят для парсинга среднего размера.

Выбрав провайдера, вы выполните следующие шаги для настройки его резидентных прокси:

1. Создайте прокси-пользователей

Вы получите уникальные учетные данные имени пользователя и пароля для каждого созданного вами резидентного прокси-пользователя.

2. Выберите геотаргетинг

Выберите таргетинг на местоположение на уровне города, штата или страны, необходимый для вашего варианта использования парсинга.

3. Белый список IP-адресов серверов

Внесите в белый список IP-адреса серверов, которые будут отправлять запросы через прокси-серверы для дополнительной безопасности.

4. Интегрируйте конечные точки прокси

Используйте прокси-менеджер или API поставщика для создания оптимизированных конечных точек прокси.

5. Установите ограничения параллелизма

Настройте параллелизм на основе размера пула IP-адресов, чтобы не вызывать блокировки из-за превышения емкости.

6. Включите ротацию IP-адресов

Ротируйте прокси случайным образом или в зависимости от использования, чтобы полностью замаскировать ваш трафик.

Вот и все! Ваши прокси готовы начать извлечение данных в большом масштабе.

Далее я покажу вам, как отправлять прокси-запросы с помощью кода.

Многие авторитетные провайдеры прокси, такие как BrightData, GeoSurf, Oxylabs, Smartproxy и т.д., предлагают услуги резидентных прокси.

Сравнение функций пяти лучших резидентных прокси-провайдеров

Провайдер	Функции
BrightData	Большие пулы IP-адресов, масштабируемость, быстрый доступ
Oxylabs	Большие пулы IP-адресов, масштабируемость, быстрый доступ, высокая скорость
GeoSurf	Маленькие и средние пулы IP-адресов, масштабируемость, быстрый доступ
Smartproxy	Маленькие и средние пулы IP-адресов, масштабируемость, быстрый доступ

Выбрав провайдера, вы выполните следующие шаги для настройки его резидентных прокси:

1. Получите уникальные учетные данные имени пользователя и пароля для каждого созданного вами резидентного прокси-пользователя.
2. Выберите таргетинг на местоположение на уровне города, штата или страны, необходимый для вашего варианта использования парсинга.
3. Внесите в белый список IP-адреса серверов, которые будут отправлять запросы через прокси-серверы для дополнительной безопасности.
4. Используйте прокси-менеджер или API поставщика для создания оптимизированных конечных точек прокси.
5. Настройте параллелизм на основе размера пула IP-адресов, чтобы не вызывать блокировки из-за превышения емкости.
6. Ротируйте прокси случайным образом или в зависимости от использования, чтобы полностью замаскировать ваш трафик.

Вот и все! Ваши прокси готовы начать извлечение данных в большом масштабе.

Как избежать использования слишком большого количества запросов при парсинге

Задача довольно обыденная, нужно собирать цены ~1000 наименований товаров из поисковой выдачи маркетплейса Onoz раз в день…
В кратце опишу работу скрипта: из файла products.txt берется наименование товара для поискового запроса, собираются ссылки из поисковой выдачи, каждая открывается и оттуда берутся нужные данные и так далее по циклу.
Площадка использует защиту cloudflare, антибот и антидудос получилось обойти с помощью selenium undetected_chromedriver. Но при парсинге где-то 10 - 15 позиций парсинг останавливается, браузер фризится и от сервера не приходят ответы. Через некоторое время приходит timeout exception.
При этом, если в этой зависшей копии chromedriver попробовать открыть какую-либо ссылку onoz, ничего не выходит - данные тупо не передаются с сервера, а например google открывается. Соответственно проблемы с интернетом сразу отбрасываются, трабл именно в ограничении сервера, видимо какими-то алгоритмами вычисляется работа скрипта.
Если тут же перезапустить скрипт, то он как ни в чем не бывало продолжает собирать эти несчастные 10-15 позиции и снова фризится. Подскажите, может кто сталкивался с такой проблемой как это можно решить? Может с помощью сторожевой функции, которая будет перезапускать скрипт в случае простоя?

Как использование сложных капч и бот-защит может повысить шансы на успешный парсинг

Парсинг или скрапинг — это сбор данных с чужих сайтов. Не вдаваясь в технические нюансы, суть этого процесса можно описать так: специальные боты посещают страницы целевого ресурса, выгружают HTML-код, разбирают его на отдельные составляющие, вычленяют нужные данные и сохраняют в своей базе. Зачастую боты обходят сайты на регулярной основе, отслеживая изменение цен, расширение товарного ассортимента или публикацию нового контента, который можно украсть.

Поисковые роботы Google и Яндекса — это тоже своего рода парсеры. Принцип их работы аналогичен: периодически совершают обход сайта, собирают информацию и индексируют новые документы. Этим объясняется главная сложность противодействия парсингу: защищаясь от ботов-шпионов, легко заблокировать содержимое сайта для краулеров Google и Яндекса. А это — прощай, SEO и трафик из поиска, за счёт которого живут все нормальные сайты.

Со стороны сервера запросы пользователей и роботов выглядят одинаково. Из этого вытекает, что если живые люди могут получить доступ к сайту, то его содержимое доступно и ботам. Соответственно, большинство автоматизированных средств против парсинга в той или иной мере работает и против пользователей. На практике это выливается в то, что антипарсинговые решения существенно ухудшают опыт пользования сайтом и просаживают поведенческие факторы, что не лучшим образом сказывается на SEO.

Не ботами едиными

Говоря о парсинге и краже данных, не следует забывать, что, помимо использования скриптов, контент не менее успешно копипастят руками. Как правило, это касается копирования текстов и фото. Формально копипаст не подпадает под определение парсинга, но последствия для SEO от такого заимствования аналогичны.

Каким образом можно использовать прокси-серверы для преодоления блокировки при парсинге

На ресурсе ras.arbitr.ru имеется более миллиона документов, мне нужно получить парсингом их содержимое.
Я написал простенький скрипт на python. Поиск на их сайте сделан через отправку POST заголовков. Но стоит мне начать работу скрипта, ресурс меня блокирует и на их сайт я не могу зайти 1 день, пишет "Защита системы по вашему IP от скриптов"
Заголовки отсылаю скопированные с Chrome dev tool.
Пробовал рандомные куки ставить в значения - не помогает.
Как можно обойти блокировку? Буду очень благодарен кто подскажет.

Как важно следить за параметрами скорости и частоты запросов при парсинге данных

• Исследование конкурентных цен. Бренды электронной коммерции постоянно собирают данные о ценах с сайтов конкурентов, чтобы корректировать свою собственную ценовую стратегию. Это гарантирует, что они останутся конкурентоспособными.
• SEO и оптимизация контента. Собирая результаты поисковых систем, сайты могут обнаруживать высокорейтинговый контент и оптимизировать свои собственные страницы с помощью соответствующих ключевых слов и тем.
• Генерация потенциальных клиентов. Анализ профессиональных каталогов, таких как LinkedIn, помогает создавать списки потенциальных клиентов, на которые можно ориентировать кампании по электронной почте и контент-маркетингу.
• Мониторинг социальных сетей. Бренды сканируют социальные платформы для анализа упоминаний, настроений и разговоров вокруг их компании или отрасли.
• Маркетинг по электронной почте. Парсинг сайтов компаний может выявить адреса электронной почты сотрудников для создания списков рассылки электронной почты для информационных кампаний.
• Бизнес-аналитика. Комплексные веб-данные можно агрегировать, структурировать и анализировать для выявления идей и тенденций.
• Создание новостей и контента. Средства массовой информации постоянно просматривают Интернет в поисках актуальных тем и идей для статей, о которых можно написать.
• Рыночные и академические исследования. Веб-данные лежат в основе исследовательских отчетов, финансовых моделей, научных исследований и многого другого.