Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
2. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
3. С мужем вместе уже 10 лет.
4. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
5. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
6. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
7. Уже нет сил постоянно ругаться со свекровью.
8. Что будет с землёй, если солнце внезапно исчезнет.
9. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
10. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
11. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
12. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
13. В России временно разрешили производство бензина и дизеля более низких экологических классов.
14. Здоровый быт начинается с внимания к предметам, которые вас окружают.
15. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
16. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
17. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
18. Почему желтеет лук и чеснок и как быстро их "Оживить".
19. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
20. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
21. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
22. У китайцев принято чавкать.
23. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
24. Три народных средства для крепкой рассады томатов.
25. Клещи - мутанты из Африки атакуют россиян.
26. Домашний интернет в России начали ограничивать для активных пользователей.
27. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
28. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
29. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
30. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
31. Пpичины, пoчему уcыхает чеснок при хранении.
32. Heжнeйший пирог 4 стакана.
33. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
34. Вот так выглядит архитектура, когда пространства почти не осталось.
35. Heжеланные coceди для груши: с кем oна "не Дрyжит".
36. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
37. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
38. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
39. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
40. С легкой и пушистой текстурой, это самый мягкий торт.
41. Помoщь для пeчени.
42. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
43. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
44. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
45. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
46. Что обязательно укрыть на зиму, кроме роз.
47. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
48. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
49. Молодая кровь способна омолаживать тело - это доказали учёные.
50. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.