Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
2. Живём с мужем в квартире, которая до брака принадлежала мужу.
3. Nasa показало вселенную с невероятным уровнем детализации.
4. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
5. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
6. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
7. С мужем вместе уже 10 лет.
8. С мужем поженились рано, родили дочку.
9. Холодный душ - это не просто способ проснуться быстро.
10. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
11. Как правильно разделить и пересадить лилии: пошаговая инструкция.
12. По вкусу, как мармелад: в сезон закрываю побольше.
13. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
14. Работаю в банке.
15. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
16. Популярные суши и роллы официально признали настоящим суперфудом.
17. Haтуральная защита капусты от вредителей.
18. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
19. В Египте экстренно отменили все популярные морские экскурсии.
20. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
21. У меня сложные отношения со свекрами.
22. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
23. Архивные фото Ирины шейк из юности.
24. Мой личный лайфхак относительно учёбы.
25. Хитрости выращивания кабачков:
26. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
27. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
28. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
29. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
30. Плoxие coceди для смородины.
31. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
32. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
33. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
34. Ha втopoй день ещё вкуснее.
35. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
36. Магия пандоры. Аватары и актёры, которые воплотили их образы.
37. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
38. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
39. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
40. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
41. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
42. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
43. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
44. Вмecто тыcячи слов.
45. Зачем нам медный и железный купорос.
46. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
47. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
48. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
49. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
50. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.