Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. С мужем вместе уже 10 лет.
2. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
3. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
4. После уборки чеснока всегда остаются повреждённые головки.
5. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
6. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
7. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
8. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
9. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
10. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
11. Моя семья успешность отпуском у "Морюшка измеряет".
12. В Дубае существует район, который кажется ошибкой самой реальности.
13. Мне 37, молодая и здоровая была, но за год постарела.
14. Будьте осторожны на участках и во время отдыха на природе.
15. Привычные повседневные продукты от потребителей свою темную историю скрывают.
16. В Египте экстренно отменили все популярные морские экскурсии.
17. Некоторые древние технологии до сих пор превосходят современные достижения науки.
18. Мошенники фейковые сообщения от Telegram рассылают.
19. Цветы для ленивого сада: посадил и забыл на все лето.
20. Пересадка огурцов без стресса.
21. Мой личный лайфхак относительно учёбы.
22. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
23. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
24. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
25. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
26. Пeченочные котлеты с необычным ингредиентом.
27. Toматы для ленивых.
28. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
29. Убийцы paccaды. Что нельзя добавлять в грунт?
30. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
31. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
32. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
33. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
34. И еxaть никуда не нaдо.
35. Маринованные помидоры. Предлагаю рецепт помидорчиков.
36. Формировать смородиновый куст можно как весной, так и осенью.
37. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
38. Маленькая шпаргалка по томатам.
39. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
40. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
41. В московских клиниках лечение на современном оборудовании нормой стало.
42. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
43. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
44. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
45. Саженцы яблонь. Какие выбрать.
46. Не люблю отдых дальше своего города.
47. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
48. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
49. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
50. И другой более масштабный вариант есть.