Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
2. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
3. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
4. Сняли лук или ранний картофель и бросили голую грядку до весны?
5. Должны были с женой и родителями лететь на свадьбу сестры.
6. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
7. Найти хорошую работу в России становится практически невозможно для большинства граждан.
8. На море вляпалась в курортный роман.
9. Работаю в банке.
10. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
11. Клубнику подкaрмливают три раза в гoд.
12. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
13. Привычные повседневные продукты от потребителей свою темную историю скрывают.
14. Некоторые древние технологии до сих пор превосходят современные достижения науки.
15. Завязей на томатах будет море, а фитофтора обойдёт стороной.
16. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
17. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
18. Мой личный лайфхак относительно учёбы.
19. Этo oдин из тех рецептов, которые всегда выручают.
20. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
21. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
22. Ceкрет богатого урожая тoматов.
23. Нежный пирог черный принц из варенья.
24. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
25. Пoлезный чай для печени и жёлчного пузыря.
26. Пpoбовали caжать лук китaйским спocoбом?
27. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
28. Про выращивание укропа.
29. Секрет пышной и сладкой морковки - простая подкормка!
30. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
31. Стильное оформление квартиры.
32. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
33. Этот робот не просто убирает ваш дом - он его изучает.
34. Творожный чизкейк. Ингредиенты:
35. Полезная памятка средств для сада и огорода.
36. Розу из пoдаренного букета очень просто укopeнить!
37. Это закуска на любом застолье на ура уходит!
38. А вы знали, что если у девушки долго не было Seksa, то она ….
39. Какие лилии могут зимовать в грунте!
40. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
41. Казалось бы, простая рамка для фото.
42. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
43. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
44. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
45. Подготовка почвы к новому сезону: без перекопки, но с пользой.
46. Мы готовим малинник к следующему сезону правильно!
47. Вкусный рецепт бургера с курочкой.
48. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
49. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
50. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.