Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. К 2050 году привычная жизнь может превратиться в научную фантастику.
2. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
3. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
4. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
5. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
6. Муж постоянно по утрам будит.
7. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
8. Серая гниль на розах - гадость мерзостная.
9. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
10. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
11. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
12. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
13. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
14. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
15. Опилки на грядках: бесплатное золото или яд для урожая?
16. Туапсе экологическая катастрофа хуже анапской грозит.
17. Почему вы зря деревья от лишайника белите?
18. Проект за 200 миллионов долларов превратился в странный город - призрак.
19. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
20. 10 растений с белыми цветами.
21. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
22. Топ - 7 наборов семян, которые должны быть у каждого!
23. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
24. Самые полезные виды варенья.
25. Ha втopoй день ещё вкуснее.
26. Пpичины, пoчему уcыхает чеснок при хранении.
27. Пepecтаньте борoться с мoкрицей!
28. Дaвно забытый peцепт из сссp.
29. Не пробовали посадить лук китайским способом?
30. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
31. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
32. Моя соседка никак не могла продать дорогущий антикварный комод.
33. Творожный чизкейк. Ингредиенты:
34. Лучший способ хранения чеснока.
35. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
36. Зачем нам медный и железный купорос.
37. Разбираемся как бороться с червяками на малине.
38. В России отложили введение нового утильсбора для автомобилей.
39. Морозостойкие сорта гибридной хурмы.
40. А вы знали, что если у девушки долго не было Seksa, то она ….
41. Какие лилии могут зимовать в грунте!
42. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
43. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
44. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
45. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
46. Что делать, если листья огурцов стали "Мраморные"?
47. Малосольные помидорки по-армянски.
48. Кто сказал, что шестиугольники только у пчёл?
49. Не люблю отдых дальше своего города.
50. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.