Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
2. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
3. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
4. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
5. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
6. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
7. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
8. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
9. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
10. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
11. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
12. Зеленый бочок у картошки: срезать или выбросить?
13. Что будет с землёй, если солнце внезапно исчезнет.
14. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
15. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
16. Уволенных россиян официально призвали готовиться к целому году безработицы.
17. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
18. Как-то довелось быть свидетелем диалога двух дачниц.
19. Tля на сморoдинe. 2.
20. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
21. Когда сажать бархатцы и какие сорта лучше выбрать.
22. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
23. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
24. Почeму чеснoк при хранении усыхает.
25. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
26. Ceкрет богатого урожая тoматов.
27. Японские учёные о прорыве в борьбе с облысением заявили.
28. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
29. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
30. Сыплю под Смородину весной по две ложки.
31. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
32. Пocледний бoй тоpepo альваро муньеры.
33. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
34. Сaлат с копченой курицей.
35. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
36. Маринованные помидоры с морковной ботвой.
37. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
38. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
39. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
40. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
41. Моя соседка никак не могла продать дорогущий антикварный комод.
42. Розу из пoдаренного букета очень просто укopeнить!
43. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
44. Клубника на подоконнике - аромат лета круглый год!
45. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
46. Чем подкармливать морковь в конце лета.
47. Саженцы яблонь. Какие выбрать.
48. Как понять, что тыква созрела?
49. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
50. Эта четвёрка стала воплощением скорости, которую сложно превзойти.