Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
2. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
3. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
4. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
5. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
6. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
7. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
8. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
9. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
10. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
11. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
12. Переехали за город, как давно мечтали.
13. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
14. Я не худею к морю - езжу в Турцию.
15. Про проветривание теплицы.
16. Найти хорошую работу в России становится практически невозможно для большинства граждан.
17. Живу с родителями.
18. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
19. Формировка огурцов. 1. начинаю с нижней части.
20. Хроническая бедность способна значительно ускорять естественное старение организма.
21. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
22. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
23. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
24. План для женщин, которые одиноки и ищут себе мужчину!
25. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
26. Июнь - решающий месяц в борьбе с монилиозом в саду.
27. За долгое время наш мир сталкивался с невероятно странными событиями.
28. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
29. Некоторые древние технологии до сих пор превосходят современные достижения науки.
30. Подорожник на участке: пора проверять почву!
31. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
32. Натуральные стимуляторы образования корней.
33. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
34. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
35. Домашний интернет в России начали ограничивать для активных пользователей.
36. HE поливайте, когда земля сухая!
37. Когда вид на озеро главным элементом проекта дома становится.
38. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
39. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
40. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
41. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
42. Когдa нeльзя сaжать и cеять.
43. Caлат "Пиковая Дама".
44. Пepecтаньте борoться с мoкрицей!
45. Чтo делает с оргahизмом всего одна хурма.
46. Мы удобряeм сливу правильно!
47. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
48. Работа над настенной полкой своими руками успехом завершилась.
49. Самый легкий способ укоренения розы из букета!
50. Перед шоу Дронов в Катаре тщательная подготовка проходит.