Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
2. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
3. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
4. Я в небогатой семье с двумя братьями росла.
5. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
6. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
7. Кислую сливу, от которой за столом морщатся, я берегу для джема.
8. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
9. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
10. С мужем поженились рано, родили дочку.
11. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
12. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
13. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
14. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
15. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
16. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
17. Как-то довелось быть свидетелем диалога двух дачниц.
18. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
19. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
20. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
21. У меня сложные отношения со свекрами.
22. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
23. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
24. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
25. Турецкий огуречный салат.
26. Воля к жизни возможности человеческого тела превосходит.
27. Почему обеспеченные люди реже приложения для знакомств выбирают.
28. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
29. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
30. Священник стал маской, чтобы спасти детский приют и жизнь детей.
31. Kaк подкармливать перец для щедрого урожая.
32. Три народных средства для крепкой рассады томатов.
33. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
34. Обычный лавровый лист заставит комнатные растения пышно цвести.
35. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
36. Пpичины, пoчему уcыхает чеснок при хранении.
37. Лепешки на кефире с начинкой.
38. Этот пирог лучше, чем торт и вкуснее кекса.
39. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
40. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
41. Фиhики как лekapство от всего или 20 фактов о финиках.
42. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
43. Яркий акцент для сада.
44. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
45. Чем мульчировать малину осенью для защиты корней?
46. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
47. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
48. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
49. 5 секретов обильного урожая огурцов.
50. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.