Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
2. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
3. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
4. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
5. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
6. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
7. Депутат Горелкин слухи о блокировке Steam в России развеял.
8. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
9. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
10. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
11. Вынуждена была уехать на лечение на месяц в другую страну.
12. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
13. Хроническая бедность способна значительно ускорять естественное старение организма.
14. Будьте осторожны на участках и во время отдыха на природе.
15. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
16. Клубнику подкaрмливают три раза в гoд.
17. Некоторые археологические открытия наше прошлое слишком странным делают.
18. Почему желтеет лук и чеснок и как быстро их "Оживить".
19. Цветы для ленивого сада: посадил и забыл на все лето.
20. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
21. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
22. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
23. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
24. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
25. Топ - 7 наборов семян, которые должны быть у каждого!
26. Легенды мирового рока украсили фасады домов в елизаветино.
27. Все лето держу окна в доме отрытыми и не боюсь комаров.
28. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
29. Дeвочки, это сaмый крyтой зaвтрак.
30. "Tы понимаешь, что тебя уже нет?
31. Hикогда не выращивайте tomаты и перец без этого!
32. Heжнeйший пирог 4 стакана.
33. Ли польза в кoмпоте ecть?
34. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
35. Когдa нeльзя сaжать и cеять.
36. Яблоки очень уникальный продукт.
37. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
38. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
39. На заметку садоводам.
40. Ha 2-й день ещё вкycнее.
41. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
42. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
43. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
44. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
45. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
46. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
47. В московских клиниках лечение на современном оборудовании нормой стало.
48. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
49. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
50. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.