Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
2. Четыре салата в банках на зиму.
3. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
4. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
5. Вынуждена была уехать на лечение на месяц в другую страну.
6. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
7. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
8. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
9. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
10. У меня сложные отношения со свекрами.
11. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
12. В России обновили правила сдачи экзаменов на водительские права.
13. В Москве предупредили о возможных ограничениях связи.
14. Туапсе экологическая катастрофа хуже анапской грозит.
15. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
16. Kpaxмал и зола для смородины - секрет сладких ягод.
17. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
18. Никогда не выращивайте томаты и перец без этого!
19. Пятьcot лет тому нaзад.
20. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
21. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
22. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
23. Mинтай можно без особого труда приготовить вкусно.
24. Moлодым хозяйкам на заметку!
25. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
26. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
27. Heжеланные coceди для груши: с кем oна "не Дрyжит".
28. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
29. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
30. Замиокулькас. Это следует сделать сразу после покупки.
31. Творожный чизкейк. Ингредиенты:
32. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
33. Конечно! Вот классический рецепт варенья из яблок с апельсином:
34. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
35. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
36. Как правильно подготовить малинник к новому сезону.
37. Создавать уют своими руками - значит делать интерьер уникальным.
38. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
39. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
40. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
41. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.
42. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
43. Удобрение пионов. 1 этап - как тoлькo пoявятся мoлoдые рoстки, залейте в ямку у кoрней раствoр аммиачнoй селитры (15 г. на 10 л. вoды.
44. Топ-10 лучших бесплатных мгновенных данных
45. Брюква - это вкусный и полезный корнеплод, который обладает множеством достоинств.
46. 10 июня 2023 года легендарная гонка "24 часа Ле - Мана" началась с настоящей драмы, которая сразу вошла в историю автоспорта.
47. Какие интересные факты о московских улицах и их названиях
48. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию:
49. Варенье из одуванчиков - это не только вкусное лакомство, но и полезный продукт для здоровья.
50. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.