Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Холодный душ - это не просто способ проснуться быстро.
2. Муж в последнее время крепко подсел на всякие мужские паблики.
3. Я не худею к морю - езжу в Турцию.
4. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
5. Официальная мировая история помнит только выдающихся мужчин - победителей.
6. Будьте осторожны на участках и во время отдыха на природе.
7. Июнь - решающий месяц в борьбе с монилиозом в саду.
8. Муж часто домашние дела на потом задвигает.
9. Некоторые археологические открытия наше прошлое слишком странным делают.
10. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
11. Хотите получить огурцы без болезней и с хорошим здоровьем?
12. Архивные фото Ирины шейк из юности.
13. В России запретят параллельный импорт компьютерной техники с 27 мая.
14. В популярных духах обнаружили потенциально опасные вещества.
15. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
16. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
17. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
18. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
19. Легенды мирового рока украсили фасады домов в елизаветино.
20. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
21. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
22. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
23. Cвeжий укроп всегда под рукoй.
24. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
25. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
26. Пoлезный чай для печени и жёлчного пузыря.
27. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
28. Самый возрастной ветеран великой отечественной войны умер.
29. Яблоки очень уникальный продукт.
30. Натали вспомнила мужа: "третья новогодняя ночь без него.
31. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
32. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
33. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
34. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
35. Caлат "Мaкcим". Ингредиенты:
36. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
37. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
38. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
39. Вкусный и ароматный салат "Парамониха" из свежих овощей.
40. Полезная памятка средств для сада и огорода.
41. В 2026 году в России ожидается волна сокращений персонала.
42. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
43. 5 секретов обильного урожая огурцов.
44. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
45. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
46. Самый легкий способ укоренения розы из букета!
47. От победы над онкологией - к одной из самых впечатляющих сделок за всю историю шоу Shark Tank.
48. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
49. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
50. Какие исторические места Москвы связаны с наполеоновским вторжением