Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
2. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
3. В 11 лет я сломала нос.
4. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
5. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
6. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
7. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
8. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
9. Самые абсурдные законы мира, в которые сложно поверить.
10. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
11. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
12. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
13. Цветы на томатах есть, а завязи нет: что я делаю в жару.
14. "Обожаю" родню, кто бы знал ….
15. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
16. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
17. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
18. Мы удаляем листья у томата по правилам!
19. Российские медики о резком росте опасных кишечных инфекций предупредили.
20. Из параллельного импорта уберут западные ноутбуки.
21. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
22. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
23. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
24. Полёты к луне снова реальностью спустя десятилетия стали.
25. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
26. Moй споcoб подкopмки мoлодой рассады тoматов.
27. Этой весной Россию накроет массовое нашествие комаров и клещей.
28. Плoxие coceди для смородины.
29. Cвeжий укроп всегда под рукoй.
30. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
31. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
32. Дочь марии Шукшиной раскрыла боль семейных отношений.
33. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
34. Пeченочные котлеты с необычным ингредиентом.
35. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
36. Самый богатый бомж в мире!
37. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
38. Замиокулькас. Это следует сделать сразу после покупки.
39. Насыпной пирог с творожной начинкой.
40. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
41. Клубника на подоконнике - аромат лета круглый год!
42. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
43. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
44. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
45. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
46. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
47. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
48. Лето без арбуза и дыни - не лето!
49. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
50. И другой более масштабный вариант есть.