Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. После уборки чеснока всегда остаются повреждённые головки.
2. После последней ягоды про клубнику легко забыть до следующей весны.
3. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
4. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
5. Вынуждена была уехать на лечение на месяц в другую страну.
6. Переехали за город, как давно мечтали.
7. Большинство крупнейших катастроф в мировой истории не были неизбежными.
8. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
9. Девушка случайно Airpods вместо таблетки перед сном проглотила.
10. Сервис такси Bolt уволил всех кадровиков ради эффективности.
11. Клубнику от долгоносика спасаю ещё до цветения.
12. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
13. Турецкий огуречный салат.
14. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
15. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
16. У китайцев принято чавкать.
17. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
18. Ваши вопросы: пожелтела совсем туя после зимы.
19. 1941 год. Украина, первые месяцы оккупации.
20. Чем подкормить рассаду перца для мощных корней.
21. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
22. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
23. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
24. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
25. Японские учёные о прорыве в борьбе с облысением заявили.
26. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
27. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
28. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
29. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
30. Mинтай можно без особого труда приготовить вкусно.
31. Coветы для тoго, чтoбы получить крупную малину.
32. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
33. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
34. Сырники больше не делаю.
35. Австралийская семья отказалась продать дом за 50 миллионов долларов.
36. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
37. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
38. Не пробовали посадить лук китайским способом?
39. Моя соседка никак не могла продать дорогущий антикварный комод.
40. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
41. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
42. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
43. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
44. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
45. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
46. Мы готовим малинник к следующему сезону правильно!
47. Лето без арбуза и дыни - не лето!
48. Какие макроэлементы важны для томатов и как распознать их нехватку?
49. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
50. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.