Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
2. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
3. Перед похолоданием целый таз зелёных помидоров сняла.
4. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
5. Пустая грядка в августе не обязана два месяца выращивать сорняки.
6. Американец с самым крошечным пенисом в мире на увеличение пошёл.
7. МРТ Плода показывает мозг и глаза сквозь кости черепа.
8. Яблок много - вроде радоваться надо.
9. У моего отца дочь от первого брака была.
10. В нашей семье все склонны к полноте.
11. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
12. Серая гниль на розах - гадость мерзостная.
13. Сезон клубники в самом разгаре!
14. Дочку с самого детства учила нести ответственность за свои поступки.
15. В Японии открылся уникальный музей для всех ценителей женских ног.
16. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
17. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
18. Девушка случайно Airpods вместо таблетки перед сном проглотила.
19. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
20. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
21. Работа в кровати незаметно здоровье человека разрушает.
22. Повеяло летом. Клубника рекорд установила.
23. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
24. Всегда в путешествиях.
25. Почему нужно срезать верхушки у яблонь.
26. Как подкормить малину весной для крупных и сладких ягод.
27. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
28. Tpи весенних опрыскивания сада: сроки и средства.
29. В Госдуме предложили необычный способ провести время без интернета.
30. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
31. Картофельные ростки: золотой актив, который вы зря выбрасывали!
32. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
33. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
34. Пpичины, пoчему уcыхает чеснок при хранении.
35. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
36. Убийцы paccaды. Что нельзя добавлять в грунт?
37. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
38. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
39. Не пробовали посадить лук китайским способом?
40. Моя соседка никак не могла продать дорогущий антикварный комод.
41. Помoщь для пeчени.
42. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
43. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
44. Работа над настенной полкой своими руками успехом завершилась.
45. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
46. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
47. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
48. Сердце в словах: почему мы так любим любовные романы
49. Создавать уют своими руками - значит делать интерьер уникальным.
50. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.