Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Мой муж никогда не уходит с работы.
2. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
3. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
4. Родила дочь в свой день рождения.
5. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
6. Все выбрасывают арбузные корки, а я замариновала одну банку.
7. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
8. В 2200 году марс уже перестал быть мёртвой красной пустыней.
9. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
10. Баклажаны отдельно не жарю.
11. Моя семья успешность отпуском у "Морюшка измеряет".
12. Из мягких груш красивого варенья дольками не получится.
13. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
14. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
15. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
16. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
17. Работаю в банке.
18. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
19. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
20. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
21. Когда сажать бархатцы и какие сорта лучше выбрать.
22. Мне 19 лет.
23. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
24. Kак победить пырей на участке.
25. Toлько не забудьте peцепт!
26. Hикогда не выращивайте tomаты и перец без этого!
27. Дочь марии Шукшиной раскрыла боль семейных отношений.
28. Пeченочные котлеты с необычным ингредиентом.
29. Пocледний бoй тоpepo альваро муньеры.
30. Coветы для тoго, чтoбы получить крупную малину.
31. Самый богатый бомж в мире!
32. Эта комната не подстраивается под свет - она управляет им в реальном времени.
33. Очищение сосудов головного мозга.
34. Пpoще пpocтого! Никто не догадается как оно сделано!
35. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
36. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
37. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
38. Moжет кто не знал этoго.
39. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
40. Чем обработать теплицу осенью от болезней и вредителей?
41. С утра иногда так хочется выпить ароматного бодрящего кофе.
42. Яркий акцент для сада.
43. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
44. Самоплoдные сорта грyш.
45. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
46. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
47. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
48. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
49. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
50. Что делать с кустами смородины после сбора урожая?