Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
2. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
3. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
4. На столе опять собралась миска яблок, которые никто не хотел есть.
5. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
6. Муж спросил, когда я сильнее всего пугалась в жизни.
7. Переехали за город, как давно мечтали.
8. Серая гниль на розах - гадость мерзостная.
9. Официальная мировая история находится намного ближе к нам, чем кажется.
10. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
11. Официальная мировая история помнит только выдающихся мужчин - победителей.
12. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
13. Здоровый быт начинается с внимания к предметам, которые вас окружают.
14. Почему желтеет лук и чеснок и как быстро их "Оживить".
15. Мой личный лайфхак относительно учёбы.
16. История любви из разных миров покорила интернет.
17. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
18. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
19. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
20. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
21. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
22. Обычный лавровый лист заставит комнатные растения пышно цвести.
23. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
24. Она растёт в каждом саду и называется ведьмина трава.
25. Пocледний бoй тоpepo альваро муньеры.
26. Нашатырь можно как хорошую подкормку для лука использовать.
27. Фигуру дочки Маликова бурно обсуждают в Сети.
28. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
29. Ha 2-й день ещё вкycнее.
30. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
31. Эта комната не подстраивается под свет - она управляет им в реальном времени.
32. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
33. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
34. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
35. Taкой арoматный и вкycный.
36. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
37. Творожный чизкейк. Ингредиенты:
38. Это закуска на любом застолье на ура уходит!
39. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
40. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
41. Россиян ожидает резкое повышение тарифов на электроэнергию.
42. Зачем нам медный и железный купорос.
43. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
44. А вы знали, что если у девушки долго не было Seksa, то она ….
45. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
46. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
47. Как ухаживать за астрами для пышного цветения.
48. Маленькие, но важные детали делают интерьер особенным.
49. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
50. Как спасти огурцы от мучнистой росы.