Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Кислую сливу, от которой за столом морщатся, я берегу для джема.
2. Чуть не оставила фасоль на грядке до полного высыхания.
3. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
4. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
5. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
6. Россияне снова смогут оформлять иммиграционные визы в США.
7. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
8. Почему утро, день и вечер не имеют чётких границ.
9. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
10. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
11. Мне 37, молодая и здоровая была, но за год постарела.
12. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
13. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
14. Хроническая бедность способна значительно ускорять естественное старение организма.
15. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
16. Уволенных россиян официально призвали готовиться к целому году безработицы.
17. Что я делаю с чесноком, чтобы он снова стал зелёным.
18. Важные правила подкормки, о которых нельзя забывать.
19. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
20. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
21. Проект за 200 миллионов долларов превратился в странный город - призрак.
22. Уже проснулись: как не встретить гадюку на любимых грядках.
23. Пятьcot лет тому нaзад.
24. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
25. Oгурцы будете рaздавать всем coceдям.
26. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
27. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
28. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
29. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
30. Сырники больше не делаю.
31. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
32. Вот так выглядит архитектура, когда пространства почти не осталось.
33. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
34. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
35. Замиокулькас. Это следует сделать сразу после покупки.
36. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
37. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
38. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
39. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
40. Секс помогает улучшать память - к такому выводу пришли американские учёные.
41. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
42. В московских клиниках лечение на современном оборудовании нормой стало.
43. Эти малыши, размером 5-10 см.
44. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
45. 5 лучших подкормок для огорода - проверено на практике.
46. Лето без арбуза и дыни - не лето!
47. Грим в кино - это не просто макияж, а важная часть создания образа героя.
48. Банановая кожура - природное удобрение для огорода.
49. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
50. Топ-11 открытых инструментов для веб-скрапинга в 2025 году