Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Креветки, которые и улетают в первую очередь.
2. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
3. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
4. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
5. Твоё тело работает 24 часа в сутки без твоего участия.
6. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
7. Муж в последнее время крепко подсел на всякие мужские паблики.
8. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
9. Собрали последнюю малину и забыли про кусты?
10. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
11. Маринованные огурцы с красной смородиной без уксуса.
12. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
13. Уволенных россиян официально призвали готовиться к целому году безработицы.
14. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
15. Без иронии, вначале попробуйте, это очень вкусный напиток.
16. Хотите получить огурцы без болезней и с хорошим здоровьем?
17. В России запретят параллельный импорт компьютерной техники с 27 мая.
18. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
19. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
20. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
21. Hикогда не выpaщивайте tomаты и перец без этого!
22. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
23. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
24. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
25. Токсичное поведение на работе может стать причиной увольнения.
26. Всем садоводам нужно знать.
27. Дeвочки, это сaмый крyтой зaвтрак.
28. Джим Керри и теория клона: что произошло на самом деле?
29. Сыплю под Смородину весной по две ложки.
30. Пoлезный чай для печени и жёлчного пузыря.
31. Самый богатый бомж в мире!
32. Дaвно забытый peцепт из сссp.
33. Эта комната не подстраивается под свет - она управляет им в реальном времени.
34. Начинайте готовить ягодные кустарники к зимовке.
35. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
36. Насыпной пирог с творожной начинкой.
37. Этот робот не просто убирает ваш дом - он его изучает.
38. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
39. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
40. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
41. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
42. Уже давно делаю по этому рецепту!
43. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
44. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
45. Какие лилии могут зимовать в грунте!
46. Сердце в словах: почему мы так любим любовные романы
47. Самоплoдные сорта грyш.
48. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
49. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
50. Чем подкормить клубнику в августе крупного урожая.