Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
2. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
3. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
4. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
5. В GTA VI полиция даже ваше лицо и одежду запомнит.
6. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
7. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
8. В Россию прибыла первая партия бензина из индии.
9. Почему утро, день и вечер не имеют чётких границ.
10. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
11. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
12. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
13. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
14. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
15. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
16. План для женщин, которые одиноки и ищут себе мужчину!
17. Мы удаляем листья у томата по правилам!
18. Завязей на томатах будет море, а фитофтора обойдёт стороной.
19. В России запретят параллельный импорт компьютерной техники с 27 мая.
20. Совет по рассаде томатов.
21. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
22. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
23. Нетипичные плодовые культуры для северного сада.
24. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
25. Этой весной Россию накроет массовое нашествие комаров и клещей.
26. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
27. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
28. В Мавритании ходит один из самых впечатляющих поездов на планете.
29. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
30. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
31. Hикогда не ставьте забор обратной стороной к соседу!
32. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
33. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
34. Самый возрастной ветеран великой отечественной войны умер.
35. Лепешки на кефире с начинкой.
36. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
37. Натали вспомнила мужа: "третья новогодняя ночь без него.
38. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
39. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
40. Врачи о бесполезности популярных бадов с коллагеном заявили.
41. Формировать смородиновый куст можно как весной, так и осенью.
42. Нашим любимым подписчикам, дачникам и садоводам на заметку.
43. Секрет крупного озимого чеснока - простая подкормка при посадке!
44. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
45. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
46. Подготовка почвы к новому сезону: без перекопки, но с пользой.
47. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
48. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
49. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
50. Самый легкий способ укоренения розы из букета!