Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. На земле существуют места, которые выглядят как ошибка реальности.
2. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
3. Я в небогатой семье с двумя братьями росла.
4. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
5. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
6. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
7. Баклажаны отдельно не жарю.
8. Из мягких груш красивого варенья дольками не получится.
9. Должны были с женой и родителями лететь на свадьбу сестры.
10. Цветы на томатах есть, а завязи нет: что я делаю в жару.
11. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
12. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
13. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
14. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
15. Дочку с самого детства учила нести ответственность за свои поступки.
16. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
17. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
18. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
19. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
20. В Египте экстренно отменили все популярные морские экскурсии.
21. Нарциссизм всё чаще связывают именно с генетикой.
22. Плитка из ведерка от майонеза: дачный шик своими руками.
23. Опилки на грядках: бесплатное золото или яд для урожая?
24. В популярных духах обнаружили потенциально опасные вещества.
25. Три народных средства для крепкой рассады томатов.
26. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
27. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
28. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
29. "Tы понимаешь, что тебя уже нет?
30. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
31. Самые полезные виды варенья.
32. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
33. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
34. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
35. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
36. Затяжная магнитная буря уже началась и продлится до конца декабря.
37. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
38. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
39. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
40. С легкой и пушистой текстурой, это самый мягкий торт.
41. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
42. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
43. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
44. Нашим любимым подписчикам, дачникам и садоводам на заметку.
45. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
46. Как ухаживать за астрами для пышного цветения.
47. Пергола - это не просто арка или навес.
48. Срывать недозрелые плоды или ждать полной зрелости?
49. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
50. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.