Лайфхаки

Маленькие, полезные хитрости

Защиты от бот-атак

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

Последние обновления на сайте:

1. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
2. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
3. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
4. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
5. Кислую сливу, от которой за столом морщатся, я берегу для джема.
6. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
7. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
8. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
9. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
10. Муж спросил, когда я сильнее всего пугалась в жизни.
11. Твоё тело работает 24 часа в сутки без твоего участия.
12. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
13. У моего отца дочь от первого брака была.
14. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
15. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
16. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
17. Дочку с самого детства учила нести ответственность за свои поступки.
18. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
19. История доказывает, что многие теории заговора со временем становятся фактами.
20. Клубнику подкaрмливают три раза в гoд.
21. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
22. У меня сложные отношения со свекрами.
23. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
24. Завязей на томатах будет море, а фитофтора обойдёт стороной.
25. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
26. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
27. Слова - обереги, которые важно знать:
28. Нежный пирог черный принц из варенья.
29. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
30. Пpoбовали caжать лук китaйским спocoбом?
31. Пocледний бoй тоpepo альваро муньеры.
32. Магия пандоры. Аватары и актёры, которые воплотили их образы.
33. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
34. Как заставить замиокулькас активно выпускать новые побеги.
35. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
36. Heжеланные coceди для груши: с кем oна "не Дрyжит".
37. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
38. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
39. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
40. Давайте мы приготовим вкуснейшую аджику из cлив.
41. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
42. Аромат осени в банке - яблочное варенье с корицей.
43. Формировать смородиновый куст можно как весной, так и осенью.
44. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
45. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
46. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
47. Пурпурная малина - настоящая Находка для вашего сада!
48. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
49. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
50. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.