Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Человечество создало резервную копию урожая на случай катастрофы.
2. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
3. Креветки, которые и улетают в первую очередь.
4. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
5. С мужем вместе уже 10 лет.
6. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
7. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
8. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
9. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
10. Выкопать свёклу - половина дела.
11. Почему утро, день и вечер не имеют чётких границ.
12. Должны были с подружкой пойти в субботу на пробежку.
13. С 1 марта банки будут блокировать переводы при обнаружении вируса.
14. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
15. Муж в последнее время крепко подсел на всякие мужские паблики.
16. Чем заболела груша и как ее лечить?
17. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
18. По вкусу, как мармелад: в сезон закрываю побольше.
19. Найти хорошую работу в России становится практически невозможно для большинства граждан.
20. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
21. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
22. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
23. Лиcтья свернулись и побелели после высадки в теплицу.
24. Добрый день! Вдруг кто с подобным … сталкивался.
25. Без иронии, вначале попробуйте, это очень вкусный напиток.
26. Хотите получить огурцы без болезней и с хорошим здоровьем?
27. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
28. История любви из разных миров покорила интернет.
29. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
30. У китайцев принято чавкать.
31. Ваши вопросы: пожелтела совсем туя после зимы.
32. Мне 19 лет.
33. 10 растений с белыми цветами.
34. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
35. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
36. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
37. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
38. Ceйчас я делаю блинчики, которые тают во рту!
39. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
40. Простое клубничное варенье.
41. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
42. Вкусный и ароматный салат "Парамониха" из свежих овощей.
43. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
44. Учёные в вейпах следы фекалий обнаружили.
45. Работа над настенной полкой своими руками успехом завершилась.
46. Мы не дадим слизням перезимовать!
47. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
48. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
49. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
50. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.