Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
2. Удивительные товарищи всё-таки - родственнички.
3. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
4. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
5. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
6. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
7. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
8. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
9. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
10. Найти хорошую работу в России становится практически невозможно для большинства граждан.
11. Большинство крупнейших катастроф в мировой истории не были неизбежными.
12. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
13. Российские медики о резком росте опасных кишечных инфекций предупредили.
14. Так томаты в теплицу не просто так высаживают.
15. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
16. Нарциссизм всё чаще связывают именно с генетикой.
17. Почему желтеет лук и чеснок и как быстро их "Оживить".
18. В России запретят параллельный импорт компьютерной техники с 27 мая.
19. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
20. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
21. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
22. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
23. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
24. Трещины на тротуарах превращаются в целые миры художника.
25. Чем подкормить рассаду перца для мощных корней.
26. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
27. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
28. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
29. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
30. Пpoбовали caжать лук китaйским спocoбом?
31. Про выращивание укропа.
32. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
33. Топ - 5 самых неприхотливых сортов перца.
34. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
35. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
36. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
37. Как правильно ухаживать за фиалками.
38. Замиокулькас. Это следует сделать сразу после покупки.
39. Taкой арoматный и вкycный.
40. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
41. Moжет кто не знал этoго.
42. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
43. Как правильно подготовить малинник к новому сезону.
44. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
45. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
46. Недорогое средство от пятнистостей на розах.
47. Топ - 5 идей для уюта на даче осенью.
48. Мы готовим малинник к следующему сезону правильно!
49. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
50. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам: