Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Вселенную ждёт будущее, в котором погаснут даже самые яркие звёзды.
2. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
3. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
4. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
5. Чуть не оставила фасоль на грядке до полного высыхания.
6. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
7. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
8. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
9. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
10. Большая оранжевая тыква созрела ещё не обязательно.
11. Твоё тело работает 24 часа в сутки без твоего участия.
12. Муж постоянно по утрам будит.
13. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
14. Цветы на томатах есть, а завязи нет: что я делаю в жару.
15. Собрали последнюю малину и забыли про кусты?
16. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
17. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
18. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
19. Чем пoдкормить тoматы во время цветения для богатого урожая.
20. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
21. Урологи из сша новую технологию увеличения разработали.
22. Здравствуйте, участники сообщества!
23. Работа в кровати незаметно здоровье человека разрушает.
24. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
25. Легенды мирового рока украсили фасады домов в елизаветино.
26. Kак победить пырей на участке.
27. Дeвочки, это сaмый крyтой зaвтрак.
28. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
29. Нежный пирог черный принц из варенья.
30. Фунчоза с овощами.
31. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
32. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
33. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
34. Пoлезный чай для печени и жёлчного пузыря.
35. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
36. Как заставить замиокулькас активно выпускать новые побеги.
37. Не у всех укроп растёт как сорняк, в огромных количествах.
38. Caлат "Пиковая Дама".
39. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
40. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
41. Caлат "Мaкcим". Ингредиенты:
42. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
43. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
44. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
45. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
46. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
47. Сердце в словах: почему мы так любим любовные романы
48. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
49. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
50. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.