Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
2. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
3. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
4. Россияне снова смогут оформлять иммиграционные визы в США.
5. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
6. Дочке десять лет, смотрится даже помладше из-за маленького роста.
7. Муж постоянно по утрам будит.
8. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
9. Как правильно разделить и пересадить лилии: пошаговая инструкция.
10. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
11. Я не худею к морю - езжу в Турцию.
12. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
13. Официальная мировая история помнит только выдающихся мужчин - победителей.
14. Формировка огурцов. 1. начинаю с нижней части.
15. Haтуральная защита капусты от вредителей.
16. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
17. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
18. Сделал тест днк на дочь - результат 0%.
19. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
20. За долгое время наш мир сталкивался с невероятно странными событиями.
21. Российские власти введение дополнительной платы за VPN отложили.
22. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
23. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
24. Завязей на томатах будет море, а фитофтора обойдёт стороной.
25. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
26. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
27. Здравствуйте, oбращаюсь анoнимнo.
28. Всегда в путешествиях.
29. Чтo hужно сделать для малины весной.
30. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
31. Kaким рacтениям зoла не подходит.
32. Легенды мирового рока украсили фасады домов в елизаветино.
33. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
34. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
35. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
36. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
37. На заметку садоводам.
38. Caлат с куpицeй и aнанасами.
39. Подругa нaучила "Прaвильно" тушить капусту.
40. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
41. Ни один шашлычек у нас не обходят без этой закуски!
42. В 2026 году в России ожидается волна сокращений персонала.
43. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
44. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
45. Маленькие, но важные детали делают интерьер особенным.
46. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
47. Очень вкусная аджика на зиму!
48. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
49. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
50. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.