Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Природа раздаёт людям особенности внешности с такой разницей в шансах, что некоторые почти невозможно встретить.
2. Вселенную ждёт будущее, в котором погаснут даже самые яркие звёзды.
3. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
4. У меня были серьезные проблемы со здоровьем по женской части.
5. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
6. Ночью знакомая дорога легко в полосу неизвестности превращается.
7. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
8. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
9. Чуть не оставила фасоль на грядке до полного высыхания.
10. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
11. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
12. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
13. Из одного кочана делаю целую сковороду капустных шницелей.
14. Чем заболела груша и как ее лечить?
15. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
16. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
17. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
18. Работаю в банке.
19. Современный гейминг оказался исключительно полезен для человеческой психики.
20. Экзамен по философии сдавала.
21. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
22. Девушка случайно Airpods вместо таблетки перед сном проглотила.
23. Российские медики о резком росте опасных кишечных инфекций предупредили.
24. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
25. Моя мама очень долго болью в коленях мучилась.
26. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
27. Банановая кожура в БОРЬБЕ с муравьями.
28. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
29. Последний защитник брестской крепости.
30. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
31. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
32. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
33. Пиpoжки: зaбытый стapый мaмин рeцепт.
34. Лепешки на кефире с начинкой.
35. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
36. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
37. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
38. Их форма, цвет и даже расположение никогда не бывают случайными.
39. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
40. С легкой и пушистой текстурой, это самый мягкий торт.
41. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
42. Зачем нам медный и железный купорос.
43. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
44. В России отложили введение нового утильсбора для автомобилей.
45. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
46. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
47. Что делать, если листья огурцов стали "Мраморные"?
48. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
49. 5 секретов обильного урожая огурцов.
50. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.