Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
2. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
3. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
4. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
5. Мы с мужем очень сильно поругались, решили разводиться.
6. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
7. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
8. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
9. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
10. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
11. План для женщин, которые одиноки и ищут себе мужчину!
12. На старости лет нашёл лайфхак для ловеласа.
13. Средства для подкормки помидоров.
14. Чем пoдкормить тoматы во время цветения для богатого урожая.
15. В Японии открылся уникальный музей для всех ценителей женских ног.
16. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
17. Девушка случайно Airpods вместо таблетки перед сном проглотила.
18. Российские власти введение дополнительной платы за VPN отложили.
19. Хотите получить огурцы без болезней и с хорошим здоровьем?
20. Плитка из ведерка от майонеза: дачный шик своими руками.
21. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
22. Повеяло летом. Клубника рекорд установила.
23. Всегда в путешествиях.
24. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
25. В Алматы установили памятник истории спасения собаки живой цепью.
26. Трещины на тротуарах превращаются в целые миры художника.
27. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
28. HE поливайте, когда земля сухая!
29. Когда вид на озеро главным элементом проекта дома становится.
30. Дeвочки, это сaмый крyтой зaвтрак.
31. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
32. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
33. Toматы для ленивых.
34. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
35. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
36. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
37. Секрет пышной и сладкой морковки - простая подкормка!
38. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
39. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
40. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
41. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
42. Насыпной пирог с творожной начинкой.
43. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
44. Маринованные помидоры. Предлагаю рецепт помидорчиков.
45. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
46. Как избавиться от грызунов на даче простыми средствами.
47. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
48. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
49. Топ - 5 идей для уюта на даче осенью.
50. Чем подкормить клубнику в августе крупного урожая.