Лайфхаки

Маленькие, полезные хитрости

Защита от скрапинга

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

Последние обновления на сайте:

1. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
2. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
3. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
4. Клубника отплодоносила, но бросать её до весны нельзя.
5. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
6. Чем заболела груша и как ее лечить?
7. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
8. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
9. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
10. Экзамен по философии сдавала.
11. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
12. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
13. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
14. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
15. Обычный поход в туалет потерей памяти закончился.
16. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
17. Кейсы в CS2 и паки Fifa предложили запретить в России.
18. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
19. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
20. Чтo hужно сделать для малины весной.
21. У китайцев принято чавкать.
22. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
23. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
24. Всем садоводам нужно знать.
25. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
26. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
27. Сыплю под Смородину весной по две ложки.
28. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
29. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
30. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
31. Как заставить замиокулькас активно выпускать новые побеги.
32. Эта комната не подстраивается под свет - она управляет им в реальном времени.
33. Этот пирог лучше, чем торт и вкуснее кекса.
34. Не пробовали посадить лук китайским способом?
35. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
36. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
37. И еxaть никуда не нaдо.
38. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
39. Россиян ожидает резкое повышение тарифов на электроэнергию.
40. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
41. Пергола - это не просто арка или навес.
42. Чем мульчировать малину осенью для защиты корней?
43. Кто сказал, что шестиугольники только у пчёл?
44. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
45. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
46. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
47. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
48. Как понять, что тыква созрела?
49. Не люблю отдых дальше своего города.
50. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.