Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Креветки, которые и улетают в первую очередь.
2. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
3. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
4. В 11 лет я сломала нос.
5. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
6. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
7. После уборки чеснока всегда остаются повреждённые головки.
8. После последней ягоды про клубнику легко забыть до следующей весны.
9. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
10. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
11. Цветы на томатах есть, а завязи нет: что я делаю в жару.
12. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
13. В Японии открылся уникальный музей для всех ценителей женских ног.
14. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
15. Клубнику от долгоносика спасаю ещё до цветения.
16. Здравствуйте, участники сообщества!
17. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
18. В Москве предупредили о возможных ограничениях связи.
19. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
20. Повеяло летом. Клубника рекорд установила.
21. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
22. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
23. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
24. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
25. Нетипичные плодовые культуры для северного сада.
26. Этой весной Россию накроет массовое нашествие комаров и клещей.
27. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
28. Пятьcot лет тому нaзад.
29. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
30. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
31. Дочь марии Шукшиной раскрыла боль семейных отношений.
32. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
33. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
34. Пиpoжки: зaбытый стapый мaмин рeцепт.
35. Сaлат с копченой курицей.
36. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
37. На заметку садоводам.
38. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
39. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
40. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
41. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
42. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
43. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
44. Нашим любимым подписчикам, дачникам и садоводам на заметку.
45. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
46. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
47. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
48. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
49. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
50. Эта четвёрка стала воплощением скорости, которую сложно превзойти.