Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Nasa показало вселенную с невероятным уровнем детализации.
2. Родила старшую дочку в 17 лет.
3. Моя свекровь в третий раз беременна.
4. Цветную капусту у нас обычно едят без большого восторга.
5. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
6. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
7. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
8. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
9. Большая оранжевая тыква созрела ещё не обязательно.
10. МРТ Плода показывает мозг и глаза сквозь кости черепа.
11. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
12. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
13. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
14. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
15. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
16. Собрали последнюю малину и забыли про кусты?
17. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
18. За долгое время наш мир сталкивался с невероятно странными событиями.
19. Хотите получить огурцы без болезней и с хорошим здоровьем?
20. Нарциссизм всё чаще связывают именно с генетикой.
21. Плитка из ведерка от майонеза: дачный шик своими руками.
22. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
23. Опилки на грядках: бесплатное золото или яд для урожая?
24. В популярных духах обнаружили потенциально опасные вещества.
25. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
26. Проект за 200 миллионов долларов превратился в странный город - призрак.
27. Советы дачникам. * Борная кислота:
28. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
29. Hикогда не выращивайте tomаты и перец без этого!
30. Пpичины, пoчему уcыхает чеснок при хранении.
31. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
32. Пpoбовали caжать лук китaйским спocoбом?
33. Натали вспомнила мужа: "третья новогодняя ночь без него.
34. Рецепт плюшек: Ингредиенты для опары:
35. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
36. Начинайте готовить ягодные кустарники к зимовке.
37. Фильм, который меняет стереотипное представление об атомной энергетике.
38. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
39. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
40. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
41. Это закуска на любом застолье на ура уходит!
42. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
43. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
44. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
45. Сердце в словах: почему мы так любим любовные романы
46. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
47. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
48. Вкусный рецепт бургера с курочкой.
49. Что делать с кустами смородины после сбора урожая?
50. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.