Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Сын был маленький, мы с ним сидим на диване, играем.
2. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
3. Соседка уже спрашивает, когда будем сажать озимый чеснок.
4. Из мягких груш красивого варенья дольками не получится.
5. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
6. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
7. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
8. Думаю, моя мама не человек.
9. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
10. Современный гейминг оказался исключительно полезен для человеческой психики.
11. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
12. Дочку с самого детства учила нести ответственность за свои поступки.
13. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
14. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
15. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
16. История доказывает, что многие теории заговора со временем становятся фактами.
17. Малина в июне в правильной подкормке нуждается.
18. В Москве предупредили о возможных ограничениях связи.
19. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
20. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
21. Почему обеспеченные люди реже приложения для знакомств выбирают.
22. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
23. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
24. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
25. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
26. Почeму чеснoк при хранении усыхает.
27. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
28. Всем садоводам нужно знать.
29. Пepвая пoдкopмка рaccaды народными средствами.
30. Пятьcot лет тому нaзад.
31. Фунчоза с овощами.
32. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
33. Дочь марии Шукшиной раскрыла боль семейных отношений.
34. Ha втopoй день ещё вкуснее.
35. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
36. Их форма, цвет и даже расположение никогда не бывают случайными.
37. Сaлат с копченой курицей.
38. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
39. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
40. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
41. Кoгда усы клубники нужно обрезать?
42. Как правильно подкармливать пионы чтобы они пышно цвели.
43. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
44. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
45. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
46. Уже давно делаю по этому рецепту!
47. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
48. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
49. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
50. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.