Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Nasa показало вселенную с невероятным уровнем детализации.
2. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
3. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
4. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
5. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
6. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
7. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
8. Твоё тело работает 24 часа в сутки без твоего участия.
9. Муж в последнее время крепко подсел на всякие мужские паблики.
10. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
11. Должны были с женой и родителями лететь на свадьбу сестры.
12. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
13. Современный гейминг оказался исключительно полезен для человеческой психики.
14. Сезон клубники в самом разгаре!
15. Будьте осторожны на участках и во время отдыха на природе.
16. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
17. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
18. Добрый день! Вдруг кто с подобным … сталкивался.
19. Мой личный лайфхак относительно учёбы.
20. Почему обеспеченные люди реже приложения для знакомств выбирают.
21. Совет по рассаде томатов.
22. Kpaxмал и зола для смородины - секрет сладких ягод.
23. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
24. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
25. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
26. В Алматы установили памятник истории спасения собаки живой цепью.
27. Уже проснулись: как не встретить гадюку на любимых грядках.
28. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
29. Токсичное поведение на работе может стать причиной увольнения.
30. Рецепт меренгового рулета.
31. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
32. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
33. Ha втopoй день ещё вкуснее.
34. Пeченочные котлеты с необычным ингредиентом.
35. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
36. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
37. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
38. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
39. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
40. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
41. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
42. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
43. Этот робот не просто убирает ваш дом - он его изучает.
44. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
45. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
46. Топ - 5 идей для уюта на даче осенью.
47. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
48. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
49. Чем подкормить клубнику в августе крупного урожая.
50. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.