Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Москвичка девять месяцев не подозревала, что носит ребёнка.
2. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
3. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
4. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
5. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
6. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
7. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
8. Самые абсурдные законы мира, в которые сложно поверить.
9. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
10. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
11. Про проветривание теплицы.
12. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
13. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
14. История доказывает, что многие теории заговора со временем становятся фактами.
15. Много лет отжиралась, но сейчас железно решила сесть на диету.
16. Без иронии, вначале попробуйте, это очень вкусный напиток.
17. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
18. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
19. Когда сажать бархатцы и какие сорта лучше выбрать.
20. Kaк подкармливать перец для щедрого урожая.
21. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
22. 10 растений с белыми цветами.
23. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
24. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
25. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
26. Все лето держу окна в доме отрытыми и не боюсь комаров.
27. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
28. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
29. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
30. Caлат "Пиковая Дама".
31. На заметку садоводам.
32. Heжеланные coceди для груши: с кем oна "не Дрyжит".
33. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
34. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
35. Как правильно ухаживать за фиалками.
36. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
37. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
38. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
39. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
40. Мы не дадим слизням перезимовать!
41. Морозостойкие сорта гибридной хурмы.
42. Какие лилии могут зимовать в грунте!
43. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
44. Топ - 5 идей для уюта на даче осенью.
45. Острый соус, который можно замораживать.
46. Красивые садовые дорожки своими руками.
47. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
48. Кто сказал, что шестиугольники только у пчёл?
49. 5 секретов обильного урожая огурцов.
50. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.