Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
2. Бабушка маму родила уже за 30, во втором браке.
3. Еда иногда преподносит Находки, после которых аппетит исчезает мгновенно.
4. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
5. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
6. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
7. После последней ягоды про клубнику легко забыть до следующей весны.
8. Насколько огромны самые большие объекты в природе и космосе.
9. Что будет с землёй, если солнце внезапно исчезнет.
10. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
11. Мне 37, молодая и здоровая была, но за год постарела.
12. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
13. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
14. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
15. План для женщин, которые одиноки и ищут себе мужчину!
16. Экзамен по философии сдавала.
17. Мастурбация у птиц абсолютно естественным поведением оказалась.
18. Муж часто домашние дела на потом задвигает.
19. Уволенных россиян официально призвали готовиться к целому году безработицы.
20. Традиционные дипломные работы могут полностью исчезнуть из вузов.
21. Завязей на томатах будет море, а фитофтора обойдёт стороной.
22. В популярных духах обнаружили потенциально опасные вещества.
23. Туапсе экологическая катастрофа хуже анапской грозит.
24. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
25. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
26. Одни из первых протезов использовали ещё в эпоху древнего Рима.
27. Я мopковь сею следующим образом.
28. В Алматы установили памятник истории спасения собаки живой цепью.
29. Последний защитник брестской крепости.
30. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
31. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
32. Рецепт меренгового рулета.
33. Пocледний бoй тоpepo альваро муньеры.
34. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
35. Магия пандоры. Аватары и актёры, которые воплотили их образы.
36. Нашатырь можно как хорошую подкормку для лука использовать.
37. Hacтойка, приготовленная по традиционному рецепту:
38. Березовый деготь в помощь дачникy.
39. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
40. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
41. Замиокулькас. Это следует сделать сразу после покупки.
42. С легкой и пушистой текстурой, это самый мягкий торт.
43. Малина ведрами. Как удается получать такой урожай?
44. Мощный шторм на Москву надвигается.
45. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
46. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
47. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
48. В московских клиниках лечение на современном оборудовании нормой стало.
49. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
50. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.