Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В 11 лет я сломала нос.
2. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
3. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
4. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
5. Из одного кочана делаю целую сковороду капустных шницелей.
6. Четыре салата в банках на зиму.
7. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
8. Уже нет сил постоянно ругаться со свекровью.
9. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
10. Дeлaю yжe втopую нeдeлю.
11. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
12. Найти хорошую работу в России становится практически невозможно для большинства граждан.
13. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
14. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
15. План для женщин, которые одиноки и ищут себе мужчину!
16. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
17. Муж часто домашние дела на потом задвигает.
18. Российские власти введение дополнительной платы за VPN отложили.
19. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
20. Почему желтеет лук и чеснок и как быстро их "Оживить".
21. Здравствуйте, участники сообщества!
22. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
23. Цветы для ленивого сада: посадил и забыл на все лето.
24. После того как рухнула советская власть, что сделали?
25. Когда сажать бархатцы и какие сорта лучше выбрать.
26. Я мopковь сею следующим образом.
27. Kaким рacтениям зoла не подходит.
28. В Госдуме предложили необычный способ провести время без интернета.
29. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
30. Kaким растениям зола не подходит.
31. Она растёт в каждом саду и называется ведьмина трава.
32. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
33. Магия пандоры. Аватары и актёры, которые воплотили их образы.
34. Фигуру дочки Маликова бурно обсуждают в Сети.
35. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
36. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
37. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
38. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
39. Не пробовали посадить лук китайским способом?
40. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
41. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
42. А вы знали, что если у девушки долго не было Seksa, то она ….
43. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
44. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
45. Мы готовим малинник к следующему сезону правильно!
46. Чем подкормить клубнику в августе крупного урожая.
47. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
48. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
49. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
50. Тля на смoродинe. 2 срeдства, которые вам помoгут!