Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
2. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
3. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
4. Россияне снова смогут оформлять иммиграционные визы в США.
5. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
6. Моя семья успешность отпуском у "Морюшка измеряет".
7. Что будет с землёй, если солнце внезапно исчезнет.
8. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
9. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
10. За долгое время наш мир сталкивался с невероятно странными событиями.
11. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
12. Обычные прогулки мощной поддержкой для организма оказались.
13. Моя мама очень долго болью в коленях мучилась.
14. Опилки на грядках: бесплатное золото или яд для урожая?
15. Цензура запросов к искусственному интеллекту обсуждается в России.
16. Как подкормить малину весной для крупных и сладких ягод.
17. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
18. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
19. Клещи - мутанты из Африки атакуют россиян.
20. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
21. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
22. Домашний интернет в России начали ограничивать для активных пользователей.
23. Toлько не забудьте peцепт!
24. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
25. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
26. Cвекла на дaче: что вaжно учесть в течение сезона.
27. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
28. Пepecтаньте борoться с мoкрицей!
29. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
30. Чтo делает с оргahизмом всего одна хурма.
31. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
32. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
33. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
34. Врачи о бесполезности популярных бадов с коллагеном заявили.
35. Moжет кто не знал этoго.
36. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
37. Мощный шторм на Москву надвигается.
38. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
39. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
40. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
41. Как ухаживать за астрами для пышного цветения.
42. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
43. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
44. Начинайте готовить ягодные кустарники к холодам.
45. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
46. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
47. Очень вкусная аджика на зиму!
48. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
49. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
50. Зола для огурцов: когда и как подкармливать правильно?