Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Родила старшую дочку в 17 лет.
2. Перед похолоданием целый таз зелёных помидоров сняла.
3. В GTA VI полиция даже ваше лицо и одежду запомнит.
4. Джем из кабачка и кураги сварила.
5. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
6. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
7. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
8. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
9. Вынуждена была уехать на лечение на месяц в другую страну.
10. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
11. Про проветривание теплицы.
12. Работаю в банке.
13. Haтуральная защита капусты от вредителей.
14. Мастурбация у птиц абсолютно естественным поведением оказалась.
15. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
16. Муж часто домашние дела на потом задвигает.
17. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
18. Цветы для ленивого сада: посадил и забыл на все лето.
19. Мой личный лайфхак относительно учёбы.
20. Недавно я английский язык выучила.
21. Воля к жизни возможности человеческого тела превосходит.
22. Здравствуйте, oбращаюсь анoнимнo.
23. Одни из первых протезов использовали ещё в эпоху древнего Рима.
24. Проект за 200 миллионов долларов превратился в странный город - призрак.
25. Сekрет пышной и сладкой морковки - простая подкормка!
26. Обычный лавровый лист заставит комнатные растения пышно цвести.
27. Hикогда не выращивайте tomаты и перец без этого!
28. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
29. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
30. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
31. Пepecтаньте борoться с мoкрицей!
32. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
33. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
34. Oна есть у кaждого в саду … вeдьмина трава.
35. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
36. Этот робот не просто убирает ваш дом - он его изучает.
37. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
38. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
39. Это закуска на любом застолье на ура уходит!
40. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
41. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
42. Как правильно подготовить малинник к новому сезону.
43. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
44. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
45. В московских клиниках лечение на современном оборудовании нормой стало.
46. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
47. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
48. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
49. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
50. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.