Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
2. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
3. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
4. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
5. Серая гниль на розах - гадость мерзостная.
6. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
7. Популярные суши и роллы официально признали настоящим суперфудом.
8. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
9. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
10. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
11. Когда-то давно у меня был кот с сумасшедшим характером.
12. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
13. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
14. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
15. Подорожник на участке: пора проверять почву!
16. 10 худших цветов для дачи.
17. Когда сажать бархатцы и какие сорта лучше выбрать.
18. Одни из первых протезов использовали ещё в эпоху древнего Рима.
19. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
20. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
21. Помoгаем печени утpoм, днем и вечером!
22. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
23. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
24. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
25. Лепешки на кефире с начинкой.
26. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
27. Ha 2-й день ещё вкycнее.
28. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
29. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
30. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
31. Начинайте готовить ягодные кустарники к зимовке.
32. Caлат с куpицeй и aнанасами.
33. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
34. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
35. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
36. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
37. Уже давно делаю по этому рецепту!
38. Мы не дадим слизням перезимовать!
39. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
40. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
41. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
42. Мы готовим малинник к следующему сезону правильно!
43. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
44. Саженцы яблонь. Какие выбрать.
45. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
46. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
47. Лишь в том случае, если клубника мельчает или ягод мало.
48. Зола для огурцов: когда и как подкармливать правильно?
49. Лучшие инструменты для веб-скраппинга: как эффективно извлекать данные
50. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025