Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
2. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
3. Клубника отплодоносила, но бросать её до весны нельзя.
4. С 1 марта банки будут блокировать переводы при обнаружении вируса.
5. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
6. Цветы на томатах есть, а завязи нет: что я делаю в жару.
7. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
8. В нашей семье все склонны к полноте.
9. Большинство крупнейших катастроф в мировой истории не были неизбежными.
10. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
11. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
12. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
13. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
14. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
15. Я любовник замужней женщины.
16. Муж часто домашние дела на потом задвигает.
17. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
18. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
19. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
20. 1941 год. Украина, первые месяцы оккупации.
21. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
22. Картофельные ростки: золотой актив, который вы зря выбрасывали!
23. HE поливайте, когда земля сухая!
24. Cвeжий укроп всегда под рукoй.
25. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
26. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
27. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
28. Фигуру дочки Маликова бурно обсуждают в Сети.
29. Лепешки на кефире с начинкой.
30. Секрет пышной и сладкой морковки - простая подкормка!
31. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
32. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
33. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
34. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
35. Насыпной пирог с творожной начинкой.
36. Этот робот не просто убирает ваш дом - он его изучает.
37. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
38. Помoщь для пeчени.
39. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
40. Moжет кто не знал этoго.
41. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
42. Яркий акцент для сада.
43. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
44. Создавать уют своими руками - значит делать интерьер уникальным.
45. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
46. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
47. Топ - 5 идей для уюта на даче осенью.
48. Красивые садовые дорожки своими руками.
49. 5 лучших подкормок для огорода - проверено на практике.
50. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.