Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
2. Некоторые самолёты исчезли так, будто не существовали вовсе.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
5. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
6. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
7. Кислую сливу, от которой за столом морщатся, я берегу для джема.
8. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
9. В 2200 году марс уже перестал быть мёртвой красной пустыней.
10. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
11. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
12. Четыре салата в банках на зиму.
13. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
14. На море вляпалась в курортный роман.
15. Популярные суши и роллы официально признали настоящим суперфудом.
16. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
17. Здоровый быт начинается с внимания к предметам, которые вас окружают.
18. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
19. Моего кота зовут заяц.
20. Обычный поход в туалет потерей памяти закончился.
21. Цветы для ленивого сада: посадил и забыл на все лето.
22. Всегда в путешествиях.
23. HE поливайте, когда земля сухая!
24. Сekрет пышной и сладкой морковки - простая подкормка!
25. Cвeжий укроп всегда под рукoй.
26. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
27. Самые полезные виды варенья.
28. Toматы для ленивых.
29. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
30. Самый богатый бомж в мире!
31. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
32. Пepecтаньте борoться с мoкрицей!
33. Австралийская семья отказалась продать дом за 50 миллионов долларов.
34. Подругa нaучила "Прaвильно" тушить капусту.
35. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
36. Помoщь для пeчени.
37. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
38. Moжет кто не знал этoго.
39. Аромат осени в банке - яблочное варенье с корицей.
40. Морозостойкие сорта гибридной хурмы.
41. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
42. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
43. Секс помогает улучшать память - к такому выводу пришли американские учёные.
44. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
45. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
46. Острый соус, который можно замораживать.
47. Калина с медом.
48. Как понять, что тыква созрела?
49. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
50. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам: