Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
2. Сын был маленький, мы с ним сидим на диване, играем.
3. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
4. Ночью знакомая дорога легко в полосу неизвестности превращается.
5. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
6. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
7. Перед похолоданием целый таз зелёных помидоров сняла.
8. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
9. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
10. Выкопать свёклу - половина дела.
11. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
12. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
13. В Дубае существует район, который кажется ошибкой самой реальности.
14. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
15. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
16. Дочку с самого детства учила нести ответственность за свои поступки.
17. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
18. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
19. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
20. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
21. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
22. Клубнику от долгоносика спасаю ещё до цветения.
23. 10 худших цветов для дачи.
24. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
25. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
26. Кейсы в CS2 и паки Fifa предложили запретить в России.
27. Почему нужно срезать верхушки у яблонь.
28. Домашний интернет в России начали ограничивать для активных пользователей.
29. Токсичное поведение на работе может стать причиной увольнения.
30. Oгурцы будете рaздавать всем coceдям.
31. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
32. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
33. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
34. Про выращивание укропа.
35. Пoчему лук стoит caжать в клyбнике.
36. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
37. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
38. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
39. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
40. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
41. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
42. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
43. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
44. Пурпурная малина - настоящая Находка для вашего сада!
45. Секрет крупного озимого чеснока - простая подкормка при посадке!
46. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
47. Самодельный светильник - маленькое чудо для спальни.
48. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
49. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
50. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.