Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
2. Моя свекровь в третий раз беременна.
3. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
4. Малина отплодоносила - и рука так и тянется оставить всё до весны.
5. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
6. Россияне снова смогут оформлять иммиграционные визы в США.
7. Выкопать свёклу - половина дела.
8. Всю жизнь терпеть не могу своё имя - Валентина.
9. Мы с мужем очень сильно поругались, решили разводиться.
10. Моя семья успешность отпуском у "Морюшка измеряет".
11. Депутат Горелкин слухи о блокировке Steam в России развеял.
12. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
13. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
14. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
15. Маринованные помидоры с чесноком быстрого приготовления.
16. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
17. Я любовник замужней женщины.
18. Много лет отжиралась, но сейчас железно решила сесть на диету.
19. Без иронии, вначале попробуйте, это очень вкусный напиток.
20. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
21. В Москве предупредили о возможных ограничениях связи.
22. Здравствуйте, oбращаюсь анoнимнo.
23. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
24. Советы дачникам. * Борная кислота:
25. В Госдуме предложили необычный способ провести время без интернета.
26. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
27. Чем подкормить рассаду перца для мощных корней.
28. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
29. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
30. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
31. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
32. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
33. Нашатырь можно как хорошую подкормку для лука использовать.
34. Mинтай можно без особого труда приготовить вкусно.
35. Пирожки: забытый старый мамин рецепт.
36. Топ - 5 самых неприхотливых сортов перца.
37. Как заставить замиокулькас активно выпускать новые побеги.
38. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
39. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
40. С легкой и пушистой текстурой, это самый мягкий торт.
41. Розу из пoдаренного букета очень просто укopeнить!
42. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
43. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
44. Сердце в словах: почему мы так любим любовные романы
45. Розу из подаренного букета очень просто укoренить!
46. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
47. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
48. Красивые садовые дорожки своими руками.
49. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
50. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.