Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
2. Кислую сливу, от которой за столом морщатся, я берегу для джема.
3. Это не обычное варенье, где яблоки плавают в литре сиропа.
4. Насколько огромны самые большие объекты в природе и космосе.
5. Депутат Горелкин слухи о блокировке Steam в России развеял.
6. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
7. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
8. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
9. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
10. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
11. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
12. Мощная подкормка для овощей: секрет огромного количества завязей.
13. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
14. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
15. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
16. Привычные повседневные продукты от потребителей свою темную историю скрывают.
17. Северная Корея правила ядерного ответа страны изменила.
18. Caдовая зeмляника по-разному перeзимовала.
19. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
20. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
21. Священник стал маской, чтобы спасти детский приют и жизнь детей.
22. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
23. 10 растений с белыми цветами.
24. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
25. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
26. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
27. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
28. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
29. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
30. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
31. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
32. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
33. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
34. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
35. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
36. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
37. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
38. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
39. Россиян ожидает резкое повышение тарифов на электроэнергию.
40. Зачем нам медный и железный купорос.
41. Формировать смородиновый куст можно как весной, так и осенью.
42. Полезная свекольная аджика на зиму.
43. Яркий акцент для сада.
44. Что делать, если листья огурцов стали "Мраморные"?
45. Красивые садовые дорожки своими руками.
46. Кто сказал, что шестиугольники только у пчёл?
47. Подготовка почвы к новому сезону: без перекопки, но с пользой.
48. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
49. Молодая кровь способна омолаживать тело - это доказали учёные.
50. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.