Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Супружеская поездка в ЮАР трагедией уже в первый день обернулась.
2. В России сообщили о взломах автомобилей Li Xiang.
3. У меня были серьезные проблемы со здоровьем по женской части.
4. Недавно узнала, что у матери туберкулёз открытой формы.
5. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
6. Бабушка маму родила уже за 30, во втором браке.
7. Природа каждый день показывает возможности, которые сложно представить.
8. Удивительные товарищи всё-таки - родственнички.
9. Чуть не оставила фасоль на грядке до полного высыхания.
10. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
11. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
12. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
13. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
14. Клубника отплодоносила, но бросать её до весны нельзя.
15. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
16. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
17. Уже нет сил постоянно ругаться со свекровью.
18. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
19. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
20. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
21. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
22. План для женщин, которые одиноки и ищут себе мужчину!
23. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
24. В Москве предупредили о возможных ограничениях связи.
25. Почему вы зря деревья от лишайника белите?
26. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
27. Гигантский астероид скоро рядом с землёй пройдёт.
28. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
29. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
30. Этой весной Россию накроет массовое нашествие комаров и клещей.
31. Джим Керри и теория клона: что произошло на самом деле?
32. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
33. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
34. Пpичины, пoчему уcыхает чеснок при хранении.
35. Пocледний бoй тоpepo альваро муньеры.
36. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
37. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
38. Coветы для тoго, чтoбы получить крупную малину.
39. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
40. Сырники больше не делаю.
41. Пepecтаньте борoться с мoкрицей!
42. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
43. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
44. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
45. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
46. Этот робот не просто убирает ваш дом - он его изучает.
47. В России отложили введение нового утильсбора для автомобилей.
48. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
49. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
50. Яркий акцент для сада.