Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
2. Цветную капусту у нас обычно едят без большого восторга.
3. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
4. В Россию прибыла первая партия бензина из индии.
5. Американец с самым крошечным пенисом в мире на увеличение пошёл.
6. Как правильно разделить и пересадить лилии: пошаговая инструкция.
7. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
8. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
9. Большинство крупнейших катастроф в мировой истории не были неизбежными.
10. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
11. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
12. Экзамен по философии сдавала.
13. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
14. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
15. Мастурбация у птиц абсолютно естественным поведением оказалась.
16. В Японии открылся уникальный музей для всех ценителей женских ног.
17. Петербургские депутаты предложили изменить школьную программу полового воспитания.
18. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
19. Моя мама очень долго болью в коленях мучилась.
20. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
21. Когда сажать бархатцы и какие сорта лучше выбрать.
22. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
23. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
24. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
25. Нетипичные плодовые культуры для северного сада.
26. Джим Керри и теория клона: что произошло на самом деле?
27. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
28. Пoлезный чай для печени и жёлчного пузыря.
29. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
30. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
31. Mинтай можно без особого труда приготовить вкусно.
32. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
33. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
34. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
35. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
36. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
37. И еxaть никуда не нaдо.
38. Врачи о бесполезности популярных бадов с коллагеном заявили.
39. Полезная памятка средств для сада и огорода.
40. Маринованные помидоры. Предлагаю рецепт помидорчиков.
41. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
42. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
43. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
44. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
45. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
46. Топ - 5 идей для уюта на даче осенью.
47. Чем мульчировать малину осенью для защиты корней?
48. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
49. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
50. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.