Лайфхаки

Маленькие, полезные хитрости

Защиты от бот-атак

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

Последние обновления на сайте:

1. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
2. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
3. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
4. Клубника отплодоносила, но бросать её до весны нельзя.
5. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
6. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
7. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
8. Мне 37, молодая и здоровая была, но за год постарела.
9. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
10. Официальная мировая история находится намного ближе к нам, чем кажется.
11. Работаю в банке.
12. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
13. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
14. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
15. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
16. Как-то довелось быть свидетелем диалога двух дачниц.
17. Клубнику от долгоносика спасаю ещё до цветения.
18. Опилки на грядках: бесплатное золото или яд для урожая?
19. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
20. Здравствуйте, oбращаюсь анoнимнo.
21. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
22. Совет по рассаде томатов.
23. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
24. В Алматы установили памятник истории спасения собаки живой цепью.
25. Пepвая пoдкopмка рaccaды народными средствами.
26. Японские учёные о прорыве в борьбе с облысением заявили.
27. Самые полезные виды варенья.
28. Сыплю под Смородину весной по две ложки.
29. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
30. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
31. Hacтойка, приготовленная по традиционному рецепту:
32. Убийцы paccaды. Что нельзя добавлять в грунт?
33. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
34. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
35. Этот пирог лучше, чем торт и вкуснее кекса.
36. Фильм, который меняет стереотипное представление об атомной энергетике.
37. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
38. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
39. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
40. Многим из нас нравится замиокулькаса.
41. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
42. Маринованные помидоры. Предлагаю рецепт помидорчиков.
43. Ни один шашлычек у нас не обходят без этой закуски!
44. Лучший способ хранения чеснока.
45. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
46. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
47. Самодельный светильник - маленькое чудо для спальни.
48. Маленькая шпаргалка по томатам.
49. Что обязательно укрыть на зиму, кроме роз.
50. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.