Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В России временно разрешили производство бензина и дизеля более низких экологических классов.
2. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
3. Июнь - решающий месяц в борьбе с монилиозом в саду.
4. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
5. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
6. Завязей на томатах будет море, а фитофтора обойдёт стороной.
7. Обычные прогулки мощной поддержкой для организма оказались.
8. 10 худших цветов для дачи.
9. Цветы для ленивого сада: посадил и забыл на все лето.
10. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
11. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
12. Ваши вопросы: пожелтела совсем туя после зимы.
13. Советы дачникам. * Борная кислота:
14. Kaким рacтениям зoла не подходит.
15. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
16. Чем подкормить рассаду перца для мощных корней.
17. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
18. Нетипичные плодовые культуры для северного сада.
19. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
20. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
21. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
22. Coветы для тoго, чтoбы получить крупную малину.
23. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
24. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
25. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
26. Начинайте готовить ягодные кустарники к зимовке.
27. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
28. Фиhики как лekapство от всего или 20 фактов о финиках.
29. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
30. Моя соседка никак не могла продать дорогущий антикварный комод.
31. Маринованные помидоры. Предлагаю рецепт помидорчиков.
32. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
33. Казалось бы, простая рамка для фото.
34. Малосольные помидорки по-армянски.
35. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
36. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
37. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
38. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
39. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
40. Лишь в том случае, если клубника мельчает или ягод мало.
41. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
42. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
43. Как ухаживать за сливой, чтобы собрать щедрый урожай.
44. Что делать, если желтеют кончики пера у лука.
45. Экспертный выбор: 15 лучших шаред- прокси 2025 года
46. Подготовка девушек - футболисток к новому сезону - это сочетание выносливости, силы и точной дисциплины.
47. Топ-10 бесплатных прокси 2025 года: рейтинг и обзор
48. Бюджетная отмостка - это практичное и недорогое решение для защиты фундамента от влаги и осадков.
49. Как использовать дачное пространство по максимуму!
50. Лучшие прокси-сервисы 2025 года: Обзор и рейтинг