Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Сын был маленький, мы с ним сидим на диване, играем.
2. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
3. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
4. Удивительные товарищи всё-таки - родственнички.
5. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
6. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
7. Клубника отплодоносила, но бросать её до весны нельзя.
8. Самые абсурдные законы мира, в которые сложно поверить.
9. Холодный душ - это не просто способ проснуться быстро.
10. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
11. Чем заболела груша и как ее лечить?
12. Серая гниль на розах - гадость мерзостная.
13. На море вляпалась в курортный роман.
14. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
15. Работаю в банке.
16. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
17. Современный гейминг оказался исключительно полезен для человеческой психики.
18. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
19. Haтуральная защита капусты от вредителей.
20. Здоровый быт начинается с внимания к предметам, которые вас окружают.
21. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
22. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
23. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
24. В России обновили правила сдачи экзаменов на водительские права.
25. Важные правила подкормки, о которых нельзя забывать.
26. Банановая кожура в БОРЬБЕ с муравьями.
27. Почему нужно срезать верхушки у яблонь.
28. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
29. 10 растений с белыми цветами.
30. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
31. Tpи весенних опрыскивания сада: сроки и средства.
32. Топ - 7 наборов семян, которые должны быть у каждого!
33. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
34. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
35. Японские учёные о прорыве в борьбе с облысением заявили.
36. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
37. Убийцы paccaды. Что нельзя добавлять в грунт?
38. Caлат "Пиковая Дама".
39. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
40. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
41. Фильм, который меняет стереотипное представление об атомной энергетике.
42. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
43. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
44. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
45. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
46. Малина ведрами. Как удается получать такой урожай?
47. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
48. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
49. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
50. Учёные выяснили, что качки сильнее других страдают от укусов комаров.