Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
2. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
3. Цветную капусту у нас обычно едят без большого восторга.
4. Джем из кабачка и кураги сварила.
5. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
6. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
7. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
8. Холодный душ - это не просто способ проснуться быстро.
9. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
10. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
11. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
12. Думаю, моя мама не человек.
13. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
14. Работаю в банке.
15. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
16. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
17. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
18. За долгое время наш мир сталкивался с невероятно странными событиями.
19. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
20. Российские власти введение дополнительной платы за VPN отложили.
21. Нарциссизм всё чаще связывают именно с генетикой.
22. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
23. Caдовая зeмляника по-разному перeзимовала.
24. Почему вы зря деревья от лишайника белите?
25. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
26. Мне 19 лет.
27. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
28. В Госдуме предложили необычный способ провести время без интернета.
29. Клещи - мутанты из Африки атакуют россиян.
30. Горсть миндаля в день может заметно улучшить состояние кожи.
31. Нежный пирог черный принц из варенья.
32. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
33. Самые полезные виды варенья.
34. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
35. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
36. Caлат "Пиковая Дама".
37. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
38. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
39. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
40. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
41. Очищение сосудов головного мозга.
42. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
43. Творожный чизкейк. Ингредиенты:
44. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
45. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
46. Чем обработать теплицу осенью от болезней и вредителей?
47. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
48. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
49. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
50. Красивые садовые дорожки своими руками.