Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Амазония кажется бескрайним зелёным океаном, но её глубины скрывают опасности.
2. Психологи связь депрессии с состоянием близкого окружения изучили.
3. Семейный квест: как победить грипп?
4. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
5. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
6. После аварии моего мужа ниже пояса парализовало.
7. Чуть не оставила фасоль на грядке до полного высыхания.
8. Малина отплодоносила - и рука так и тянется оставить всё до весны.
9. Россияне снова смогут оформлять иммиграционные визы в США.
10. Мы с мужем очень сильно поругались, решили разводиться.
11. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
12. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
13. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
14. Про проветривание теплицы.
15. Дочку с самого детства учила нести ответственность за свои поступки.
16. План для женщин, которые одиноки и ищут себе мужчину!
17. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
18. За долгое время наш мир сталкивался с невероятно странными событиями.
19. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
20. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
21. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
22. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
23. Всегда в путешествиях.
24. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
25. Когда сажать бархатцы и какие сорта лучше выбрать.
26. Kaким рacтениям зoла не подходит.
27. 1941 год. Украина, первые месяцы оккупации.
28. В России обсуждают усиление контроля переписок с помощью ИИ.
29. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
30. Никогда не выращивайте томаты и перец без этого!
31. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
32. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
33. Рецепт меренгового рулета.
34. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
35. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
36. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
37. Cвекла на дaче: что вaжно учесть в течение сезона.
38. Сaлат с копченой курицей.
39. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
40. Стильное оформление квартиры.
41. Caлат "Пиковая Дама".
42. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
43. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
44. Простое клубничное варенье.
45. Как правильно подкармливать пионы чтобы они пышно цвели.
46. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
47. Давайте мы приготовим вкуснейшую аджику из cлив.
48. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
49. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
50. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.