Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
2. Сняли лук или ранний картофель и бросили голую грядку до весны?
3. Муж в последнее время крепко подсел на всякие мужские паблики.
4. У моего отца дочь от первого брака была.
5. Собрали последнюю малину и забыли про кусты?
6. Думаю, моя мама не человек.
7. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
8. Про проветривание теплицы.
9. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
10. Традиционные дипломные работы могут полностью исчезнуть из вузов.
11. Tля на сморoдинe. 2.
12. С 1 сентября в России планируют обновить перечень медицинских специальностей.
13. Северная Корея правила ядерного ответа страны изменила.
14. Плитка из ведерка от майонеза: дачный шик своими руками.
15. Здравствуйте, участники сообщества!
16. Мошенники фейковые сообщения от Telegram рассылают.
17. Препараты от болезней томатов!
18. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
19. Как подкормить малину весной для крупных и сладких ягод.
20. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
21. Уже проснулись: как не встретить гадюку на любимых грядках.
22. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
23. Горсть миндаля в день может заметно улучшить состояние кожи.
24. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
25. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
26. Oбычный лавровый лист заставит комнатные растения пышно цвести.
27. Пoлезный чай для печени и жёлчного пузыря.
28. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
29. Пeченочные котлеты с необычным ингредиентом.
30. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
31. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
32. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
33. Пробовали сажать лук китайским способом?
34. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
35. Caлат "Мaкcим". Ингредиенты:
36. Многим из нас нравится замиокулькаса.
37. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
38. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
39. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
40. Творожный чизкейк. Ингредиенты:
41. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
42. В России отложили введение нового утильсбора для автомобилей.
43. Секрет крупного озимого чеснока - простая подкормка при посадке!
44. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
45. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
46. Молодая кровь способна омолаживать тело - это доказали учёные.
47. Защита от муравьев.
48. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
49. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
50. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов: