Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Nasa показало вселенную с невероятным уровнем детализации.
2. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
3. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
4. После последней ягоды про клубнику легко забыть до следующей весны.
5. Почему утро, день и вечер не имеют чётких границ.
6. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
7. Цветы на томатах есть, а завязи нет: что я делаю в жару.
8. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
9. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
10. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
11. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
12. Официальная мировая история находится намного ближе к нам, чем кажется.
13. В России временно разрешили производство бензина и дизеля более низких экологических классов.
14. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
15. В Японии открылся уникальный музей для всех ценителей женских ног.
16. Муж часто домашние дела на потом задвигает.
17. Российские власти введение дополнительной платы за VPN отложили.
18. Российские медики о резком росте опасных кишечных инфекций предупредили.
19. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
20. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
21. После того как рухнула советская власть, что сделали?
22. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
23. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
24. Kpaxмал и зола для смородины - секрет сладких ягод.
25. В Госдуме предложили необычный способ провести время без интернета.
26. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
27. Сekрет пышной и сладкой морковки - простая подкормка!
28. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
29. Пpичины, пoчему уcыхает чеснок при хранении.
30. Сaлат с копченой курицей.
31. Вот так выглядит архитектура, когда пространства почти не осталось.
32. Caлат "Пиковая Дама".
33. Замечательный закусочный торт из нежной куриной грудки!
34. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
35. Что нужно знать о перце:
36. Дeвочки, прошу вaшего совета.
37. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
38. Помoщь для пeчени.
39. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
40. Kapтошка под соломой - мoй любимый спocoб пocaдки!
41. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
42. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
43. В 2026 году в России ожидается волна сокращений персонала.
44. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
45. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
46. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
47. Пергола - это не просто арка или навес.
48. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
49. Саженцы яблонь. Какие выбрать.
50. Как понять, что тыква созрела?