Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Джем из кабачка и кураги сварила.
2. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
3. Твоё тело работает 24 часа в сутки без твоего участия.
4. С 1 марта банки будут блокировать переводы при обнаружении вируса.
5. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
6. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
7. Про проветривание теплицы.
8. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
9. Работаю в банке.
10. Современный гейминг оказался исключительно полезен для человеческой психики.
11. Муж часто домашние дела на потом задвигает.
12. Уволенных россиян официально призвали готовиться к целому году безработицы.
13. Много лет отжиралась, но сейчас железно решила сесть на диету.
14. Клубнику от долгоносика спасаю ещё до цветения.
15. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
16. Почему вы зря деревья от лишайника белите?
17. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
18. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
19. Kpaxмал и зола для смородины - секрет сладких ягод.
20. Когда сажать бархатцы и какие сорта лучше выбрать.
21. В Госдуме предложили необычный способ провести время без интернета.
22. Клещи - мутанты из Африки атакуют россиян.
23. Все лето держу окна в доме отрытыми и не боюсь комаров.
24. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
25. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
26. Hикогда не выращивайте tomаты и перец без этого!
27. Дочь марии Шукшиной раскрыла боль семейных отношений.
28. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
29. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
30. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
31. Магия пандоры. Аватары и актёры, которые воплотили их образы.
32. Как заставить замиокулькас активно выпускать новые побеги.
33. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
34. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
35. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
36. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
37. Замиокулькас. Это следует сделать сразу после покупки.
38. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
39. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
40. Лучший способ хранения чеснока.
41. Разбираемся как бороться с червяками на малине.
42. В России отложили введение нового утильсбора для автомобилей.
43. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
44. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
45. Розу из подаренного букета очень просто укoренить!
46. Учёные Ozempic без побочных эффектов создали.
47. Срывать недозрелые плоды или ждать полной зрелости?
48. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
49. Банановая кожура - природное удобрение для огорода.
50. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.