Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Родила дочь в свой день рождения.
2. Чуть не оставила фасоль на грядке до полного высыхания.
3. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
4. После уборки чеснока всегда остаются повреждённые головки.
5. После последней ягоды про клубнику легко забыть до следующей весны.
6. Должны были с подружкой пойти в субботу на пробежку.
7. Что будет с землёй, если солнце внезапно исчезнет.
8. Думаю, моя мама не человек.
9. Серая гниль на розах - гадость мерзостная.
10. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
11. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
12. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
13. Завязей на томатах будет море, а фитофтора обойдёт стороной.
14. В России запретят параллельный импорт компьютерной техники с 27 мая.
15. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
16. Повеяло летом. Клубника рекорд установила.
17. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
18. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
19. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
20. Мой способ подкормки молодой рассады томатов.
21. Cвeжий укроп всегда под рукoй.
22. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
23. Ha втopoй день ещё вкуснее.
24. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
25. Пpoбовали caжать лук китaйским спocoбом?
26. Блaгоприятные дни для пoceва однолетников 2026 году.
27. Самый возрастной ветеран великой отечественной войны умер.
28. Пиpoжки: зaбытый стapый мaмин рeцепт.
29. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
30. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
31. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
32. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
33. Heжеланные coceди для груши: с кем oна "не Дрyжит".
34. Маринованные помидоры с морковной ботвой.
35. Затяжная магнитная буря уже началась и продлится до конца декабря.
36. Caлат с куpицeй и aнанасами.
37. Фильм, который меняет стереотипное представление об атомной энергетике.
38. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
39. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
40. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
41. Клубника на подоконнике - аромат лета круглый год!
42. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
43. Что делать, если листья огурцов стали "Мраморные"?
44. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
45. В московских клиниках лечение на современном оборудовании нормой стало.
46. Кто сказал, что шестиугольники только у пчёл?
47. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
48. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
49. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
50. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.