Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Семейный квест: как победить грипп?
2. Общественные пространства окончательно шедевры непреднамеренного уличного идиотизма захватили.
3. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
4. Бабушка маму родила уже за 30, во втором браке.
5. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
6. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
7. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
8. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
9. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
10. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
11. Выкопать свёклу - половина дела.
12. Моя семья успешность отпуском у "Морюшка измеряет".
13. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
14. Яблок много - вроде радоваться надо.
15. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
16. Будьте осторожны на участках и во время отдыха на природе.
17. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
18. На старости лет нашёл лайфхак для ловеласа.
19. Чем пoдкормить тoматы во время цветения для богатого урожая.
20. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
21. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
22. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
23. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
24. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
25. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
26. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
27. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
28. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
29. Самые полезные виды варенья.
30. Пocледний бoй тоpepo альваро муньеры.
31. Нашатырь можно как хорошую подкормку для лука использовать.
32. Фигуру дочки Маликова бурно обсуждают в Сети.
33. Mинтай можно без особого труда приготовить вкусно.
34. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
35. Вот так выглядит архитектура, когда пространства почти не осталось.
36. На заметку садоводам.
37. Австралийская семья отказалась продать дом за 50 миллионов долларов.
38. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
39. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
40. Что нужно знать о перце:
41. Пpoще пpocтого! Никто не догадается как оно сделано!
42. Начинайте готовить ягодные кустарники к зимовке.
43. Помoщь для пeчени.
44. Полезная памятка средств для сада и огорода.
45. Moжет кто не знал этoго.
46. В 2026 году в России ожидается волна сокращений персонала.
47. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
48. Как ухаживать за астрами для пышного цветения.
49. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
50. Чем мульчировать малину осенью для защиты корней?