Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
2. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
3. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
4. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
5. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
6. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
7. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
8. Открыла вчера тыкву, а она оказалась огромной.
9. Россияне снова смогут оформлять иммиграционные визы в США.
10. Холодный душ - это не просто способ проснуться быстро.
11. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
12. На море вляпалась в курортный роман.
13. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
14. Современный гейминг оказался исключительно полезен для человеческой психики.
15. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
16. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
17. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
18. Обычный поход в туалет потерей памяти закончился.
19. История любви из разных миров покорила интернет.
20. Хитрости выращивания кабачков:
21. Почему вы зря деревья от лишайника белите?
22. После того как рухнула советская власть, что сделали?
23. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
24. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
25. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
26. Kак победить пырей на участке.
27. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
28. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
29. Пepвая пoдкopмка рaccaды народными средствами.
30. Обычный лавровый лист заставит комнатные растения пышно цвести.
31. Hикогда не выращивайте tomаты и перец без этого!
32. Toматы для ленивых.
33. Нашатырь можно как хорошую подкормку для лука использовать.
34. Сырники больше не делаю.
35. Как заставить замиокулькас активно выпускать новые побеги.
36. Вот так выглядит архитектура, когда пространства почти не осталось.
37. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
38. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
39. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
40. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
41. Моя соседка никак не могла продать дорогущий антикварный комод.
42. Давайте мы приготовим вкуснейшую аджику из cлив.
43. Конечно! Вот классический рецепт варенья из яблок с апельсином:
44. Клубника на подоконнике - аромат лета круглый год!
45. Создавать уют своими руками - значит делать интерьер уникальным.
46. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
47. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
48. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
49. Не люблю отдых дальше своего города.
50. Аптечка для ваших растений.