Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
2. Кислую сливу, от которой за столом морщатся, я берегу для джема.
3. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
4. Долго планировали с мужем переезд, нашли жилье.
5. Американец с самым крошечным пенисом в мире на увеличение пошёл.
6. Почему утро, день и вечер не имеют чётких границ.
7. Мы с мужем очень сильно поругались, решили разводиться.
8. Насколько огромны самые большие объекты в природе и космосе.
9. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
10. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
11. У моего отца дочь от первого брака была.
12. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
13. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
14. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
15. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
16. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
17. Добрый день! Вдруг кто с подобным … сталкивался.
18. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
19. Петербургские депутаты предложили изменить школьную программу полового воспитания.
20. Так томаты в теплицу не просто так высаживают.
21. Возможную блокировку Github снова обсуждают в России.
22. Нарциссизм всё чаще связывают именно с генетикой.
23. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
24. Гигантский астероид скоро рядом с землёй пройдёт.
25. Кейсы в CS2 и паки Fifa предложили запретить в России.
26. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
27. Когда сажать бархатцы и какие сорта лучше выбрать.
28. Одни из первых протезов использовали ещё в эпоху древнего Рима.
29. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
30. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
31. 10 растений с белыми цветами.
32. Топ - 10 теневыносливых растений для вашего сада.
33. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
34. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
35. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
36. Джим Керри и теория клона: что произошло на самом деле?
37. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
38. Многим из нас нравится замиокулькаса.
39. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
40. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
41. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
42. Морозостойкие сорта гибридной хурмы.
43. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
44. Самодельный светильник - маленькое чудо для спальни.
45. Малосольные помидорки по-армянски.
46. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
47. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
48. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
49. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
50. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.