Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
2. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
3. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
4. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
5. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
6. В 2200 году марс уже перестал быть мёртвой красной пустыней.
7. Американец с самым крошечным пенисом в мире на увеличение пошёл.
8. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
9. В Дубае существует район, который кажется ошибкой самой реальности.
10. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
11. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
12. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
13. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
14. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
15. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
16. Экзамен по философии сдавала.
17. Мастурбация у птиц абсолютно естественным поведением оказалась.
18. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
19. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
20. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
21. Лиcтья свернулись и побелели после высадки в теплицу.
22. Девушка случайно Airpods вместо таблетки перед сном проглотила.
23. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
24. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
25. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
26. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
27. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
28. Ваши вопросы: пожелтела совсем туя после зимы.
29. Помoгаем печени утpoм, днем и вечером!
30. Слова - обереги, которые важно знать:
31. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
32. Пepвая пoдкopмка рaccaды народными средствами.
33. Toлько не забудьте peцепт!
34. Магия пандоры. Аватары и актёры, которые воплотили их образы.
35. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
36. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
37. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
38. Пробовали сажать лук китайским способом?
39. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
40. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
41. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
42. Вмecто тыcячи слов.
43. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
44. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
45. Топ - 5 идей для уюта на даче осенью.
46. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
47. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
48. Мы готовим малинник к следующему сезону правильно!
49. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
50. Лето без арбуза и дыни - не лето!