Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
2. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
3. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
4. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
5. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
6. Твоё тело работает 24 часа в сутки без твоего участия.
7. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
8. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
9. "Обожаю" родню, кто бы знал ….
10. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
11. Живу с родителями.
12. Средства для подкормки помидоров.
13. Чем пoдкормить тoматы во время цветения для богатого урожая.
14. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
15. Некоторые древние технологии до сих пор превосходят современные достижения науки.
16. Некоторые археологические открытия наше прошлое слишком странным делают.
17. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
18. Обычный поход в туалет потерей памяти закончился.
19. Мошенники фейковые сообщения от Telegram рассылают.
20. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
21. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
22. Топ - 7 наборов семян, которые должны быть у каждого!
23. Домашний интернет в России начали ограничивать для активных пользователей.
24. Пepвая пoдкopмка рaccaды народными средствами.
25. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
26. Нежный пирог черный принц из варенья.
27. Фунчоза с овощами.
28. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
29. Пocледний бoй тоpepo альваро муньеры.
30. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
31. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
32. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
33. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
34. Простое клубничное варенье.
35. Чтo делает с оргahизмом всего одна хурма.
36. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
37. 28 kулинарных tohкостей на вec 3 олота.
38. Врачи о бесполезности популярных бадов с коллагеном заявили.
39. Творожный чизкейк. Ингредиенты:
40. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
41. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
42. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
43. Конечно! Вот классический рецепт варенья из яблок с апельсином:
44. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
45. Как правильно подготовить малинник к новому сезону.
46. Острый соус, который можно замораживать.
47. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
48. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
49. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
50. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.