Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. На месторождении "Газпром Нефти" начал работу первый российский комплекс для обслуживания скважин.
2. Nasa показало вселенную с невероятным уровнем детализации.
3. Родила дочь в свой день рождения.
4. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
5. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
6. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
7. После последней ягоды про клубнику легко забыть до следующей весны.
8. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
9. Это не обычное варенье, где яблоки плавают в литре сиропа.
10. С 1 марта банки будут блокировать переводы при обнаружении вируса.
11. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
12. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
13. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
14. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
15. Переехали за город, как давно мечтали.
16. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
17. Про проветривание теплицы.
18. Большинство крупнейших катастроф в мировой истории не были неизбежными.
19. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
20. Haтуральная защита капусты от вредителей.
21. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
22. Много лет отжиралась, но сейчас железно решила сесть на диету.
23. Малина в июне в правильной подкормке нуждается.
24. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
25. Туапсе экологическая катастрофа хуже анапской грозит.
26. Хитрости выращивания кабачков:
27. Чтo hужно сделать для малины весной.
28. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
29. У китайцев принято чавкать.
30. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
31. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
32. Kaким рacтениям зoла не подходит.
33. Tpи весенних опрыскивания сада: сроки и средства.
34. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
35. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
36. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
37. Ceкрет богатого урожая тoматов.
38. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
39. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
40. Фигуру дочки Маликова бурно обсуждают в Сети.
41. Натали вспомнила мужа: "третья новогодняя ночь без него.
42. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
43. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
44. Caлат "Мaкcим". Ингредиенты:
45. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
46. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
47. Ни один шашлычек у нас не обходят без этой закуски!
48. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
49. Создавать своими руками - значит делать вещи особенными.
50. 5 секретов обильного урожая огурцов.