Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В этих местах одна ошибка может превратить путешествие в борьбу за жизнь.
2. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
3. Эти невероятные вещи заставляют усомниться в реальности.
4. Недавно с мужем заселились в съёмную квартиру.
5. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
6. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
7. Мой ребёнок путём суррогатного материнства появился.
8. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
9. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
10. Мой муж никогда не уходит с работы.
11. Моя свекровь в третий раз беременна.
12. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
13. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
14. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
15. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
16. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
17. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
18. Депутат Горелкин слухи о блокировке Steam в России развеял.
19. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
20. Переехали за город, как давно мечтали.
21. Думаю, моя мама не человек.
22. В нашей семье все склонны к полноте.
23. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
24. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
25. Моего кота зовут заяц.
26. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
27. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
28. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
29. Малина в июне в правильной подкормке нуждается.
30. Северная Корея правила ядерного ответа страны изменила.
31. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
32. В Москве предупредили о возможных ограничениях связи.
33. Кейсы в CS2 и паки Fifa предложили запретить в России.
34. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
35. Горсть миндаля в день может заметно улучшить состояние кожи.
36. Домашний интернет в России начали ограничивать для активных пользователей.
37. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
38. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
39. Секрет пышной и сладкой морковки - простая подкормка!
40. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
41. Пробовали сажать лук китайским способом?
42. Многим из нас нравится замиокулькаса.
43. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
44. Малина ведрами. Как удается получать такой урожай?
45. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
46. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
47. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
48. Яркий акцент для сада.
49. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
50. Вот он - пример того, как из идеи рождается практичная и красивая вещь.