Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Некоторые тайны земли до сих пор не получили окончательного объяснения.
2. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
3. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
4. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
5. Муж спросил, когда я сильнее всего пугалась в жизни.
6. Холодный душ - это не просто способ проснуться быстро.
7. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
8. Переехали за город, как давно мечтали.
9. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
10. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
11. Найти хорошую работу в России становится практически невозможно для большинства граждан.
12. Дочку с самого детства учила нести ответственность за свои поступки.
13. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
14. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
15. Как-то довелось быть свидетелем диалога двух дачниц.
16. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
17. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
18. У меня сложные отношения со свекрами.
19. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
20. Северная Корея правила ядерного ответа страны изменила.
21. Мошенники фейковые сообщения от Telegram рассылают.
22. Туапсе экологическая катастрофа хуже анапской грозит.
23. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
24. Повеяло летом. Клубника рекорд установила.
25. Пятый рабочий день полностью неэффективным оказался.
26. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
27. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
28. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
29. Ваши вопросы: пожелтела совсем туя после зимы.
30. Топ - 7 наборов семян, которые должны быть у каждого!
31. Картофельные ростки: золотой актив, который вы зря выбрасывали!
32. Токсичное поведение на работе может стать причиной увольнения.
33. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
34. Hикогда не выращивайте tomаты и перец без этого!
35. "Фишка моей внешности в том, что я родилась старой.
36. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
37. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
38. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
39. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
40. Затяжная магнитная буря уже началась и продлится до конца декабря.
41. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
42. Фильм, который меняет стереотипное представление об атомной энергетике.
43. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
44. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
45. Маринованные помидоры. Предлагаю рецепт помидорчиков.
46. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
47. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
48. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
49. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
50. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.