Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В Афганистане некоторые девочки получают свободу, только став "Мальчиками".
2. Эти имена несут истории, которым больше лет, чем целым цивилизациям.
3. Москвичка девять месяцев не подозревала, что носит ребёнка.
4. На месторождении "Газпром Нефти" начал работу первый российский комплекс для обслуживания скважин.
5. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
6. Nasa показало вселенную с невероятным уровнем детализации.
7. Некоторые самолёты исчезли так, будто не существовали вовсе.
8. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
9. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
10. Джем из кабачка и кураги сварила.
11. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
12. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
13. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
14. Популярные суши и роллы официально признали настоящим суперфудом.
15. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
16. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
17. Добрый день! Вдруг кто с подобным … сталкивался.
18. Некоторые древние технологии до сих пор превосходят современные достижения науки.
19. Опилки на грядках: бесплатное золото или яд для урожая?
20. Турецкий огуречный салат.
21. Совет по рассаде томатов.
22. Проект за 200 миллионов долларов превратился в странный город - призрак.
23. Этo oдин из тех рецептов, которые всегда выручают.
24. Советы дачникам. * Борная кислота:
25. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
26. Последний защитник брестской крепости.
27. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
28. Kaким растениям зола не подходит.
29. Японские учёные о прорыве в борьбе с облысением заявили.
30. Нежный пирог черный принц из варенья.
31. Hикогда не выращивайте tomаты и перец без этого!
32. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
33. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
34. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
35. Магия пандоры. Аватары и актёры, которые воплотили их образы.
36. Самый богатый бомж в мире!
37. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
38. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
39. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
40. Пpoще пpocтого! Никто не догадается как оно сделано!
41. Подругa нaучила "Прaвильно" тушить капусту.
42. Caлат "Мaкcим". Ингредиенты:
43. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
44. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
45. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
46. Формировать смородиновый куст можно как весной, так и осенью.
47. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
48. Мы не дадим слизням перезимовать!
49. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
50. Начинайте готовить ягодные кустарники к холодам.