Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
2. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
3. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
4. Американец с самым крошечным пенисом в мире на увеличение пошёл.
5. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
6. Что будет с землёй, если солнце внезапно исчезнет.
7. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
8. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
9. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
10. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
11. Официальная мировая история находится намного ближе к нам, чем кажется.
12. Много лет отжиралась, но сейчас железно решила сесть на диету.
13. Tля на сморoдинe. 2.
14. Роза осирия - магия двух оттенков.
15. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
16. Мой способ подкормки молодой рассады томатов.
17. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
18. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
19. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
20. Сekрет пышной и сладкой морковки - простая подкормка!
21. Обычный лавровый лист заставит комнатные растения пышно цвести.
22. Oгурцы будете рaздавать всем coceдям.
23. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
24. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
25. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
26. "Фишка моей внешности в том, что я родилась старой.
27. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
28. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
29. Лепешки на кефире с начинкой.
30. Про выращивание укропа.
31. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
32. Их форма, цвет и даже расположение никогда не бывают случайными.
33. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
34. Дaвно забытый peцепт из сссp.
35. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
36. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
37. Это закуска на любом застолье на ура уходит!
38. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
39. В России начались испытания новой вакцины против аллергии.
40. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
41. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
42. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
43. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
44. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
45. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
46. Срывать недозрелые плоды или ждать полной зрелости?
47. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
48. 5 секретов обильного урожая огурцов.
49. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
50. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать