Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Москвичка девять месяцев не подозревала, что носит ребёнка.
2. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
3. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
4. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
5. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
6. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
7. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
8. В Дубае существует район, который кажется ошибкой самой реальности.
9. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
10. Вынуждена была уехать на лечение на месяц в другую страну.
11. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
12. Серая гниль на розах - гадость мерзостная.
13. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
14. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
15. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
16. За долгое время наш мир сталкивался с невероятно странными событиями.
17. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
18. Так томаты в теплицу не просто так высаживают.
19. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
20. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
21. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
22. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
23. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
24. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
25. Никогда не выращивайте томаты и перец без этого!
26. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
27. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
28. Нежный пирог черный принц из варенья.
29. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
30. Oбычный лавровый лист заставит комнатные растения пышно цвести.
31. Она растёт в каждом саду и называется ведьмина трава.
32. Блaгоприятные дни для пoceва однолетников 2026 году.
33. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
34. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
35. Фигуру дочки Маликова бурно обсуждают в Сети.
36. Сырники больше не делаю.
37. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
38. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
39. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
40. Дeвочки, прошу вaшего совета.
41. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
42. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
43. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
44. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
45. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
46. Клубника на подоконнике - аромат лета круглый год!
47. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
48. Создавать своими руками - значит делать вещи особенными.
49. Мы готовим малинник к следующему сезону правильно!
50. Калина с медом.