Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Чуть не оставила фасоль на грядке до полного высыхания.
2. Клубника отплодоносила, но бросать её до весны нельзя.
3. Дочке десять лет, смотрится даже помладше из-за маленького роста.
4. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
5. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
6. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
7. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
8. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
9. Найти хорошую работу в России становится практически невозможно для большинства граждан.
10. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
11. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
12. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
13. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
14. История доказывает, что многие теории заговора со временем становятся фактами.
15. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
16. Моего кота зовут заяц.
17. Российские власти введение дополнительной платы за VPN отложили.
18. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
19. У меня сложные отношения со свекрами.
20. Малина в июне в правильной подкормке нуждается.
21. Обычный поход в туалет потерей памяти закончился.
22. Мошенники фейковые сообщения от Telegram рассылают.
23. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
24. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
25. Сamые удачные сорта моркови на 2026 год.
26. Священник стал маской, чтобы спасти детский приют и жизнь детей.
27. Мне 19 лет.
28. Мой способ подкормки молодой рассады томатов.
29. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
30. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
31. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
32. Редкий секс с повышенным риском смертности и болезней сердца связан.
33. Японские учёные о прорыве в борьбе с облысением заявили.
34. Самый богатый бомж в мире!
35. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
36. Помoщь для пeчени.
37. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
38. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
39. Секрет крупного озимого чеснока - простая подкормка при посадке!
40. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
41. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
42. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
43. 3 популярных сорта жимолости.
44. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
45. 5 лучших подкормок для огорода - проверено на практике.
46. Что делать с кустами смородины после сбора урожая?
47. Лето без арбуза и дыни - не лето!
48. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
49. Зола для огурцов: когда и как подкармливать правильно?
50. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.