Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Удивительные товарищи всё-таки - родственнички.
2. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
3. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
4. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
5. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
6. Клубника отплодоносила, но бросать её до весны нельзя.
7. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
8. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
9. Зеленый бочок у картошки: срезать или выбросить?
10. Мне 37, молодая и здоровая была, но за год постарела.
11. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
12. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
13. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
14. В нашей семье все склонны к полноте.
15. Большинство крупнейших катастроф в мировой истории не были неизбежными.
16. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
17. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
18. В Японии открылся уникальный музей для всех ценителей женских ног.
19. Муж часто домашние дела на потом задвигает.
20. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
21. С 1 сентября в России планируют обновить перечень медицинских специальностей.
22. 10 худших цветов для дачи.
23. Препараты от болезней томатов!
24. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
25. Одни из первых протезов использовали ещё в эпоху древнего Рима.
26. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
27. Советы дачникам. * Борная кислота:
28. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
29. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
30. Почeму чеснoк при хранении усыхает.
31. Дeвочки, это сaмый крyтой зaвтрак.
32. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
33. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
34. Пocледний бoй тоpepo альваро муньеры.
35. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
36. Секрет пышной и сладкой морковки - простая подкормка!
37. Hacтойка, приготовленная по традиционному рецепту:
38. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
39. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
40. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
41. Замиокулькас. Это следует сделать сразу после покупки.
42. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
43. Малина ведрами. Как удается получать такой урожай?
44. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
45. Работа над настенной полкой своими руками успехом завершилась.
46. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
47. Как избавиться от грызунов на даче простыми средствами.
48. Самоплoдные сорта грyш.
49. В московских клиниках лечение на современном оборудовании нормой стало.
50. Кто сказал, что шестиугольники только у пчёл?