Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
2. Регулярный дневной сон может сигнализировать о нарушениях в мозге.
3. Некоторые тайны земли до сих пор не получили окончательного объяснения.
4. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
5. Ночью знакомая дорога легко в полосу неизвестности превращается.
6. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
7. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
8. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
9. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
10. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
11. Клубника отплодоносила, но бросать её до весны нельзя.
12. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
13. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
14. Чем заболела груша и как ее лечить?
15. Мне 37, молодая и здоровая была, но за год постарела.
16. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
17. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
18. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
19. Tля на сморoдинe. 2.
20. Завязей на томатах будет море, а фитофтора обойдёт стороной.
21. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
22. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
23. Сamые удачные сорта моркови на 2026 год.
24. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
25. Трещины на тротуарах превращаются в целые миры художника.
26. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
27. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
28. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
29. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
30. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
31. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
32. Сыплю под Смородину весной по две ложки.
33. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
34. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
35. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
36. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
37. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
38. Дeвочки, прошу вaшего совета.
39. Пoчему лук стoит caжать в клyбнике.
40. Чтo делает с оргahизмом всего одна хурма.
41. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
42. Это закуска на любом застолье на ура уходит!
43. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
44. В 2026 году в России ожидается волна сокращений персонала.
45. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
46. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
47. В России начались испытания новой вакцины против аллергии.
48. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
49. Что делать, если листья огурцов стали "Мраморные"?
50. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.