Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
2. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
3. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
4. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
5. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
6. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
7. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
8. Из одного кочана делаю целую сковороду капустных шницелей.
9. Дочке десять лет, смотрится даже помладше из-за маленького роста.
10. Американец с самым крошечным пенисом в мире на увеличение пошёл.
11. Баклажаны отдельно не жарю.
12. Самые абсурдные законы мира, в которые сложно поверить.
13. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
14. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
15. "Обожаю" родню, кто бы знал ….
16. Работаю в банке.
17. Современный гейминг оказался исключительно полезен для человеческой психики.
18. Дочку с самого детства учила нести ответственность за свои поступки.
19. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
20. Российские медики о резком росте опасных кишечных инфекций предупредили.
21. Роза осирия - магия двух оттенков.
22. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
23. Моя мама очень долго болью в коленях мучилась.
24. Воля к жизни возможности человеческого тела превосходит.
25. Цензура запросов к искусственному интеллекту обсуждается в России.
26. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
27. Одни из первых протезов использовали ещё в эпоху древнего Рима.
28. Священник стал маской, чтобы спасти детский приют и жизнь детей.
29. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
30. Полёты к луне снова реальностью спустя десятилетия стали.
31. В Алматы установили памятник истории спасения собаки живой цепью.
32. Помoгаем печени утpoм, днем и вечером!
33. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
34. Пeченочные котлеты с необычным ингредиентом.
35. Coветы для тoго, чтoбы получить крупную малину.
36. Лепешки на кефире с начинкой.
37. Их форма, цвет и даже расположение никогда не бывают случайными.
38. Натали вспомнила мужа: "третья новогодняя ночь без него.
39. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
40. Caлат "Пиковая Дама".
41. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
42. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
43. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
44. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
45. Учёные в вейпах следы фекалий обнаружили.
46. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
47. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
48. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
49. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
50. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.