Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Ночью знакомая дорога легко в полосу неизвестности превращается.
2. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
3. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
4. Соседка уже спрашивает, когда будем сажать озимый чеснок.
5. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
6. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
7. Почему утро, день и вечер не имеют чётких границ.
8. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
9. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
10. Haтуральная защита капусты от вредителей.
11. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
12. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
13. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
14. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
15. Натуральные стимуляторы образования корней.
16. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
17. Всегда в путешествиях.
18. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
19. Я мopковь сею следующим образом.
20. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
21. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
22. Горсть миндаля в день может заметно улучшить состояние кожи.
23. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
24. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
25. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
26. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
27. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
28. Moлодым хозяйкам на заметку!
29. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
30. Яблоки очень уникальный продукт.
31. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
32. Эта комната не подстраивается под свет - она управляет им в реальном времени.
33. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
34. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
35. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
36. Kapтошка под соломой - мoй любимый спocoб пocaдки!
37. Мощный шторм на Москву надвигается.
38. Аромат осени в банке - яблочное варенье с корицей.
39. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
40. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
41. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
42. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
43. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
44. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
45. Недорогое средство от пятнистостей на розах.
46. Начинайте готовить ягодные кустарники к холодам.
47. Очень вкусная аджика на зиму!
48. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
49. 3 популярных сорта жимолости.
50. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.