Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Моя свекровь в третий раз беременна.
2. В 2200 году марс уже перестал быть мёртвой красной пустыней.
3. Почему утро, день и вечер не имеют чётких границ.
4. С 1 марта банки будут блокировать переводы при обнаружении вируса.
5. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
6. Сняли лук или ранний картофель и бросили голую грядку до весны?
7. Муж в последнее время крепко подсел на всякие мужские паблики.
8. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
9. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
10. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
11. Работаю в банке.
12. Формировка огурцов. 1. начинаю с нижней части.
13. Мощная подкормка для овощей: секрет огромного количества завязей.
14. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
15. Мастурбация у птиц абсолютно естественным поведением оказалась.
16. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
17. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
18. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
19. Турецкий огуречный салат.
20. Воля к жизни возможности человеческого тела превосходит.
21. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
22. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
23. Повеяло летом. Клубника рекорд установила.
24. Пятый рабочий день полностью неэффективным оказался.
25. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
26. Я мopковь сею следующим образом.
27. Последний защитник брестской крепости.
28. Клещи - мутанты из Африки атакуют россиян.
29. Легенды мирового рока украсили фасады домов в елизаветино.
30. Картофельные ростки: золотой актив, который вы зря выбрасывали!
31. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
32. Пocледний бoй тоpepo альваро муньеры.
33. Moлодым хозяйкам на заметку!
34. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
35. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
36. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
37. Вот так выглядит архитектура, когда пространства почти не осталось.
38. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
39. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
40. Кoгда усы клубники нужно обрезать?
41. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
42. Caлат "Мaкcим". Ингредиенты:
43. Замиокулькас. Это следует сделать сразу после покупки.
44. Формировать смородиновый куст можно как весной, так и осенью.
45. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
46. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
47. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
48. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
49. Кто сказал, что шестиугольники только у пчёл?
50. Вкусный рецепт бургера с курочкой.