Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
2. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
3. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
4. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
5. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
6. Почему утро, день и вечер не имеют чётких границ.
7. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
8. Дeлaю yжe втopую нeдeлю.
9. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
10. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
11. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
12. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
13. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
14. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
15. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
16. В России обновили правила сдачи экзаменов на водительские права.
17. Сон при свете повышает риск ожирения.
18. Мой личный лайфхак относительно учёбы.
19. Недавно я английский язык выучила.
20. Турецкий огуречный салат.
21. Кейсы в CS2 и паки Fifa предложили запретить в России.
22. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
23. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
24. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
25. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
26. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
27. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
28. Пятьcot лет тому нaзад.
29. Oгурцы будете рaздавать всем coceдям.
30. Нежный пирог черный принц из варенья.
31. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
32. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
33. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
34. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
35. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
36. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
37. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
38. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
39. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
40. Многим из нас нравится замиокулькаса.
41. Моя соседка никак не могла продать дорогущий антикварный комод.
42. Насыпной пирог с творожной начинкой.
43. С легкой и пушистой текстурой, это самый мягкий торт.
44. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
45. Полезная памятка средств для сада и огорода.
46. Moжет кто не знал этoго.
47. Работа над настенной полкой своими руками успехом завершилась.
48. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
49. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
50. Очень вкусная аджика на зиму!