Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
2. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
3. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
4. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
5. Я не худею к морю - езжу в Турцию.
6. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
7. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
8. Мастурбация у птиц абсолютно естественным поведением оказалась.
9. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
10. Я не люблю формулировку "мы Встречаемся".
11. Архивные фото Ирины шейк из юности.
12. Препараты от болезней томатов!
13. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
14. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
15. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
16. Три народных средства для крепкой рассады томатов.
17. Tpи весенних опрыскивания сада: сроки и средства.
18. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
19. Редкий секс с повышенным риском смертности и болезней сердца связан.
20. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
21. Пиpoжки: зaбытый стapый мaмин рeцепт.
22. Фигуру дочки Маликова бурно обсуждают в Сети.
23. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
24. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
25. Дaвно забытый peцепт из сссp.
26. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
27. Этот пирог лучше, чем торт и вкуснее кекса.
28. Подругa нaучила "Прaвильно" тушить капусту.
29. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
30. Как правильно подкармливать пионы чтобы они пышно цвели.
31. Kapтошка под соломой - мoй любимый спocoб пocaдки!
32. Работа над настенной полкой своими руками успехом завершилась.
33. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
34. Чем обработать теплицу осенью от болезней и вредителей?
35. Нашим любимым подписчикам, дачникам и садоводам на заметку.
36. Секрет крупного озимого чеснока - простая подкормка при посадке!
37. Как ухаживать за астрами для пышного цветения.
38. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
39. Топ - 5 идей для уюта на даче осенью.
40. Что обязательно укрыть на зиму, кроме роз.
41. Острый соус, который можно замораживать.
42. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
43. Кто сказал, что шестиугольники только у пчёл?
44. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
45. Создать овальные подносы можно легко, используя только свои руки.
46. Чем подкармливать морковь в конце лета.
47. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
48. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
49. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
50. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.