Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В 16 лет на свадьбе дяди узнала от подпитой родственницы о том, что я приемная.
2. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
5. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
6. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
7. После аварии моего мужа ниже пояса парализовало.
8. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
9. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
10. Баклажаны отдельно не жарю.
11. Сняли лук или ранний картофель и бросили голую грядку до весны?
12. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
13. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
14. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
15. На старости лет нашёл лайфхак для ловеласа.
16. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
17. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
18. Без иронии, вначале попробуйте, это очень вкусный напиток.
19. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
20. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
21. Опилки на грядках: бесплатное золото или яд для урожая?
22. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
23. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
24. Почему вы зря деревья от лишайника белите?
25. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
26. Полёты к луне снова реальностью спустя десятилетия стали.
27. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
28. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
29. Никогда не выращивайте томаты и перец без этого!
30. Пepвая пoдкopмка рaccaды народными средствами.
31. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
32. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
33. Ли польза в кoмпоте ecть?
34. Вот так выглядит архитектура, когда пространства почти не осталось.
35. Ha 2-й день ещё вкycнее.
36. Heжеланные coceди для груши: с кем oна "не Дрyжит".
37. Маринованные помидоры с морковной ботвой.
38. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
39. Что нужно знать о перце:
40. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
41. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
42. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
43. Помoщь для пeчени.
44. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
45. Это закуска на любом застолье на ура уходит!
46. Аромат осени в банке - яблочное варенье с корицей.
47. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
48. Мы не дадим слизням перезимовать!
49. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
50. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.