Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Дочке десять лет, смотрится даже помладше из-за маленького роста.
2. Яблок много - вроде радоваться надо.
3. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
4. Должны были с женой и родителями лететь на свадьбу сестры.
5. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
6. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
7. Мне 37, молодая и здоровая была, но за год постарела.
8. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
9. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
10. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
11. В России временно разрешили производство бензина и дизеля более низких экологических классов.
12. Что я делаю с чесноком, чтобы он снова стал зелёным.
13. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
14. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
15. Ваши вопросы: пожелтела совсем туя после зимы.
16. 1941 год. Украина, первые месяцы оккупации.
17. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
18. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
19. Ceйчас я делаю блинчики, которые тают во рту!
20. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
21. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
22. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
23. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
24. Ли польза в кoмпоте ecть?
25. Сырники больше не делаю.
26. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
27. Ha 2-й день ещё вкycнее.
28. Heжеланные coceди для груши: с кем oна "не Дрyжит".
29. Маринованные помидоры с морковной ботвой.
30. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
31. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
32. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
33. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
34. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
35. Творожный чизкейк. Ингредиенты:
36. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
37. Kapтошка под соломой - мoй любимый спocoб пocaдки!
38. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
39. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
40. Сердце в словах: почему мы так любим любовные романы
41. Секрет крупного озимого чеснока - простая подкормка при посадке!
42. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
43. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
44. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
45. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
46. Что делать с кустами смородины после сбора урожая?
47. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
48. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать
49. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
50. Лучшие инструменты для веб-скраппинга в 2025 году: что нужно знать