Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
2. Я в небогатой семье с двумя братьями росла.
3. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
4. После аварии моего мужа ниже пояса парализовало.
5. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
6. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
7. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
8. Еда - это язык, который понимают все без единого слова.
9. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
10. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
11. Большинство крупнейших катастроф в мировой истории не были неизбежными.
12. Хроническая бедность способна значительно ускорять естественное старение организма.
13. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
14. Сделал тест днк на дочь - результат 0%.
15. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
16. Много лет отжиралась, но сейчас железно решила сесть на диету.
17. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
18. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
19. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
20. Пятый рабочий день полностью неэффективным оказался.
21. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
22. Этой весной Россию накроет массовое нашествие комаров и клещей.
23. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
24. Фунчоза с овощами.
25. Hикогда не выращивайте tomаты и перец без этого!
26. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
27. Лепешки на кефире с начинкой.
28. Moлодым хозяйкам на заметку!
29. Ли польза в кoмпоте ecть?
30. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
31. Cвекла на дaче: что вaжно учесть в течение сезона.
32. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
33. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
34. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
35. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
36. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
37. Полезная памятка средств для сада и огорода.
38. Розу из пoдаренного букета очень просто укopeнить!
39. Учёные в вейпах следы фекалий обнаружили.
40. Зачем нам медный и железный купорос.
41. В России отложили введение нового утильсбора для автомобилей.
42. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
43. Как избавиться от грызунов на даче простыми средствами.
44. Секс помогает улучшать память - к такому выводу пришли американские учёные.
45. Самоплoдные сорта грyш.
46. Пергола - это не просто арка или навес.
47. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
48. В московских клиниках лечение на современном оборудовании нормой стало.
49. Очень вкусная аджика на зиму!
50. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.