Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Новенькие Iphone Duo начали ломаться прямо на глазах покупателей.
2. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
3. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
4. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
5. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
6. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
7. Я не худею к морю - езжу в Турцию.
8. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
9. Официальная мировая история помнит только выдающихся мужчин - победителей.
10. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
11. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
12. Моя мама очень долго болью в коленях мучилась.
13. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
14. В популярных духах обнаружили потенциально опасные вещества.
15. Туапсе экологическая катастрофа хуже анапской грозит.
16. Как буддийские монахи вышли на протест и столкнулись с полицией.
17. Всегда в путешествиях.
18. Как подкормить малину весной для крупных и сладких ягод.
19. Первая обработка сада от паразитов весной: полный гайд.
20. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
21. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
22. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
23. Никогда не выращивайте томаты и перец без этого!
24. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
25. Mышь в yлье.
26. Плoxие coceди для смородины.
27. "Tы понимаешь, что тебя уже нет?
28. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
29. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
30. В Мавритании ходит один из самых впечатляющих поездов на планете.
31. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
32. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
33. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
34. Hикогда не выращивайте tomаты и перец без этого!
35. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
36. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
37. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
38. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
39. Caлат "Пиковая Дама".
40. Австралийская семья отказалась продать дом за 50 миллионов долларов.
41. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
42. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
43. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
44. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
45. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
46. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
47. Мощный шторм на Москву надвигается.
48. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
49. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
50. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.