Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В 11 лет я сломала нос.
2. С мужем вместе уже 10 лет.
3. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
4. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
5. Твоё тело работает 24 часа в сутки без твоего участия.
6. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
7. В Дубае существует район, который кажется ошибкой самой реальности.
8. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
9. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
10. Будьте осторожны на участках и во время отдыха на природе.
11. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
12. Мастурбация у птиц абсолютно естественным поведением оказалась.
13. Я любовник замужней женщины.
14. Традиционные дипломные работы могут полностью исчезнуть из вузов.
15. Российские власти введение дополнительной платы за VPN отложили.
16. Российские медики о резком росте опасных кишечных инфекций предупредили.
17. Хитрости выращивания кабачков:
18. После того как рухнула советская власть, что сделали?
19. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
20. Tpи весенних опрыскивания сада: сроки и средства.
21. Kак победить пырей на участке.
22. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
23. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
24. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
25. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
26. Самый возрастной ветеран великой отечественной войны умер.
27. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
28. Сaлат с копченой курицей.
29. Как заставить замиокулькас активно выпускать новые побеги.
30. Убийцы paccaды. Что нельзя добавлять в грунт?
31. Затяжная магнитная буря уже началась и продлится до конца декабря.
32. Рецепт плюшек: Ингредиенты для опары:
33. Этот пирог лучше, чем торт и вкуснее кекса.
34. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
35. Начинайте готовить ягодные кустарники к зимовке.
36. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
37. Не пробовали посадить лук китайским способом?
38. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
39. Формировать смородиновый куст можно как весной, так и осенью.
40. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
41. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
42. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
43. Морозостойкие сорта гибридной хурмы.
44. Нашим любимым подписчикам, дачникам и садоводам на заметку.
45. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
46. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
47. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
48. 3 популярных сорта жимолости.
49. Как понять, что тыква созрела?
50. Что делать с кустами смородины после сбора урожая?