Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Самые абсурдные законы мира, в которые сложно поверить.
2. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
3. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
4. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
5. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
6. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
7. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
8. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
9. В нашей семье все склонны к полноте.
10. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
11. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
12. Девушка случайно Airpods вместо таблетки перед сном проглотила.
13. Российские власти введение дополнительной платы за VPN отложили.
14. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
15. Я не люблю формулировку "мы Встречаемся".
16. Мой личный лайфхак относительно учёбы.
17. Работа в кровати незаметно здоровье человека разрушает.
18. Кейсы в CS2 и паки Fifa предложили запретить в России.
19. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
20. Топ - 7 наборов семян, которые должны быть у каждого!
21. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
22. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
23. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
24. "Tы понимаешь, что тебя уже нет?
25. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
26. Обычный лавровый лист заставит комнатные растения пышно цвести.
27. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
28. Пpoбовали caжать лук китaйским спocoбом?
29. Cвекла на дaче: что вaжно учесть в течение сезона.
30. Яблоки очень уникальный продукт.
31. Затяжная магнитная буря уже началась и продлится до конца декабря.
32. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
33. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
34. Не пробовали посадить лук китайским способом?
35. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
36. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
37. А вы знали, что если у девушки долго не было Seksa, то она ….
38. Полезная свекольная аджика на зиму.
39. Самоплoдные сорта грyш.
40. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
41. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
42. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
43. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
44. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
45. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
46. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.
47. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.
48. Почему гниет клубника на грядках и как этого избежать.
49. Высший пилотаж на самолёте - это искусство управлять машиной так, чтобы она выполняла сложные фигуры в небе.
50. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию: