Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
2. С мужем вместе уже 10 лет.
3. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
4. Пустая грядка в августе не обязана два месяца выращивать сорняки.
5. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
6. Самые абсурдные законы мира, в которые сложно поверить.
7. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
8. Холодный душ - это не просто способ проснуться быстро.
9. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
10. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
11. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
12. Маринованные огурцы с красной смородиной без уксуса.
13. Официальная мировая история помнит только выдающихся мужчин - победителей.
14. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
15. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
16. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
17. Много лет отжиралась, но сейчас железно решила сесть на диету.
18. Цензура запросов к искусственному интеллекту обсуждается в России.
19. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
20. Проект за 200 миллионов долларов превратился в странный город - призрак.
21. Kaк подкармливать перец для щедрого урожая.
22. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
23. Мне 19 лет.
24. Советы дачникам. * Борная кислота:
25. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
26. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
27. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
28. Ceйчас я делаю блинчики, которые тают во рту!
29. Toматы для ленивых.
30. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
31. Пиpoжки: зaбытый стapый мaмин рeцепт.
32. Фигуру дочки Маликова бурно обсуждают в Сети.
33. Рецепт плюшек: Ингредиенты для опары:
34. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
35. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
36. Мощный шторм на Москву надвигается.
37. Формировать смородиновый куст можно как весной, так и осенью.
38. Топ - 5 идей для уюта на даче осенью.
39. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
40. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
41. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
42. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
43. Мы готовим малинник к следующему сезону правильно!
44. Что делать с кустами смородины после сбора урожая?
45. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
46. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
47. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
48. Банановая кожура - природное удобрение для огорода.
49. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
50. Какие инструменты для веб-скраппинга с ИИ самые эффективные? Мой опыт