Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
2. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
3. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
4. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
5. Все выбрасывают арбузные корки, а я замариновала одну банку.
6. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
7. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
8. Большая оранжевая тыква созрела ещё не обязательно.
9. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
10. МРТ Плода показывает мозг и глаза сквозь кости черепа.
11. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
12. В Дубае существует район, который кажется ошибкой самой реальности.
13. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
14. В нашей семье все склонны к полноте.
15. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
16. Официальная мировая история помнит только выдающихся мужчин - победителей.
17. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
18. В Египте экстренно отменили все популярные морские экскурсии.
19. Когда-то давно у меня был кот с сумасшедшим характером.
20. Возможную блокировку Github снова обсуждают в России.
21. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
22. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
23. Священник стал маской, чтобы спасти детский приют и жизнь детей.
24. Мне 19 лет.
25. 10 растений с белыми цветами.
26. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
27. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
28. Уже проснулись: как не встретить гадюку на любимых грядках.
29. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
30. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
31. Cвeжий укроп всегда под рукoй.
32. Самые полезные виды варенья.
33. Heжнeйший пирог 4 стакана.
34. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
35. Heжеланные coceди для груши: с кем oна "не Дрyжит".
36. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
37. Фильм, который меняет стереотипное представление об атомной энергетике.
38. 28 kулинарных tohкостей на вec 3 олота.
39. Мощный шторм на Москву надвигается.
40. Разбираемся как бороться с червяками на малине.
41. Пурпурная малина - настоящая Находка для вашего сада!
42. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
43. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
44. Что делать с кустами смородины после сбора урожая?
45. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
46. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
47. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
48. Банановая кожура - природное удобрение для огорода.
49. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
50. И другой более масштабный вариант есть.