Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Valve начала Казахстану в разы больше налоговых денег приносить.
2. Семейный квест: как победить грипп?
3. Новенькие Iphone Duo начали ломаться прямо на глазах покупателей.
4. Недавно с мужем заселились в съёмную квартиру.
5. Живём с мужем в квартире, которая до брака принадлежала мужу.
6. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
7. Родила старшую дочку в 17 лет.
8. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
9. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
10. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
11. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
12. Из мягких груш красивого варенья дольками не получится.
13. У моего отца дочь от первого брака была.
14. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
15. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
16. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
17. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
18. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
19. Tля на сморoдинe. 2.
20. Клубнику от долгоносика спасаю ещё до цветения.
21. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
22. Почему вы зря деревья от лишайника белите?
23. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
24. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
25. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
26. Kpaxмал и зола для смородины - секрет сладких ягод.
27. Чтo hужно сделать для малины весной.
28. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
29. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
30. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
31. Клещи - мутанты из Африки атакуют россиян.
32. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
33. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
34. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
35. Фунчоза с овощами.
36. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
37. Сыплю под Смородину весной по две ложки.
38. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
39. Австралийская семья отказалась продать дом за 50 миллионов долларов.
40. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
41. Caлат с куpицeй и aнанасами.
42. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
43. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
44. Учёные в вейпах следы фекалий обнаружили.
45. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
46. Это лучшее, что я когда-либо ела!
47. Клубника на подоконнике - аромат лета круглый год!
48. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
49. Сердце в словах: почему мы так любим любовные романы
50. Недорогое средство от пятнистостей на розах.