Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
2. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
3. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
4. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
5. Выкопать свёклу - половина дела.
6. Дочке десять лет, смотрится даже помладше из-за маленького роста.
7. С 1 марта банки будут блокировать переводы при обнаружении вируса.
8. В Дубае существует район, который кажется ошибкой самой реальности.
9. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
10. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
11. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
12. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
13. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
14. Добрый день! Вдруг кто с подобным … сталкивался.
15. Сервис такси Bolt уволил всех кадровиков ради эффективности.
16. Подорожник на участке: пора проверять почву!
17. В Москве предупредили о возможных ограничениях связи.
18. Цветы для ленивого сада: посадил и забыл на все лето.
19. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
20. Кейсы в CS2 и паки Fifa предложили запретить в России.
21. Одни из первых протезов использовали ещё в эпоху древнего Рима.
22. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
23. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
24. Чем подкормить рассаду перца для мощных корней.
25. Никогда не выращивайте томаты и перец без этого!
26. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
27. Дeвочки, это сaмый крyтой зaвтрак.
28. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
29. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
30. Дочь марии Шукшиной раскрыла боль семейных отношений.
31. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
32. Нашатырь можно как хорошую подкормку для лука использовать.
33. Когдa нeльзя сaжать и cеять.
34. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
35. Этот пирог лучше, чем торт и вкуснее кекса.
36. Как правильно подкармливать пионы чтобы они пышно цвели.
37. Многим из нас нравится замиокулькаса.
38. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
39. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
40. Давайте мы приготовим вкуснейшую аджику из cлив.
41. Учёные в вейпах следы фекалий обнаружили.
42. Конечно! Вот классический рецепт варенья из яблок с апельсином:
43. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
44. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
45. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
46. Вкусный рецепт бургера с курочкой.
47. 5 лучших подкормок для огорода - проверено на практике.
48. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
49. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
50. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.