Лайфхаки

Маленькие, полезные хитрости

Защиты от веб

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

Последние обновления на сайте:

1. Увидел, как моя беременная жена обнималась с лысым мужиком.
2. Недавно узнала, что у матери туберкулёз открытой формы.
3. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
4. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
5. Сын был маленький, мы с ним сидим на диване, играем.
6. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
7. Провела всё своё детство в деревне, где абсолютно нечего было делать.
8. В 11 лет я сломала нос.
9. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
10. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
11. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
12. Американец с самым крошечным пенисом в мире на увеличение пошёл.
13. Муж постоянно по утрам будит.
14. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
15. По вкусу, как мармелад: в сезон закрываю побольше.
16. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
17. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
18. Работаю в банке.
19. Сезон клубники в самом разгаре!
20. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
21. Много лет отжиралась, но сейчас железно решила сесть на диету.
22. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
23. Опилки на грядках: бесплатное золото или яд для урожая?
24. Почему обеспеченные люди реже приложения для знакомств выбирают.
25. Гигантский астероид скоро рядом с землёй пройдёт.
26. Повеяло летом. Клубника рекорд установила.
27. Когда сажать бархатцы и какие сорта лучше выбрать.
28. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
29. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
30. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
31. Kaким растениям зола не подходит.
32. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
33. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
34. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
35. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
36. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
37. Нашатырь можно как хорошую подкормку для лука использовать.
38. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
39. Этот пирог лучше, чем торт и вкуснее кекса.
40. Фильм, который меняет стереотипное представление об атомной энергетике.
41. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
42. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
43. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
44. Моя соседка никак не могла продать дорогущий антикварный комод.
45. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
46. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
47. Вкусный и ароматный салат "Парамониха" из свежих овощей.
48. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
49. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
50. Острый соус, который можно замораживать.