Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
2. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
3. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
4. Ночью знакомая дорога легко в полосу неизвестности превращается.
5. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
6. Родила старшую дочку в 17 лет.
7. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
8. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
9. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
10. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
11. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
12. Моя семья успешность отпуском у "Морюшка измеряет".
13. Холодный душ - это не просто способ проснуться быстро.
14. Зеленый бочок у картошки: срезать или выбросить?
15. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
16. Вынуждена была уехать на лечение на месяц в другую страну.
17. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
18. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
19. Традиционные дипломные работы могут полностью исчезнуть из вузов.
20. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
21. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
22. Подорожник на участке: пора проверять почву!
23. В России обновили правила сдачи экзаменов на водительские права.
24. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
25. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
26. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
27. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
28. Когда сажать бархатцы и какие сорта лучше выбрать.
29. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
30. Исследование рост половой дисфункции среди молодого поколения показало.
31. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
32. Клещи - мутанты из Африки атакуют россиян.
33. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
34. Слова - обереги, которые важно знать:
35. Нетипичные плодовые культуры для северного сада.
36. Японские учёные о прорыве в борьбе с облысением заявили.
37. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
38. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
39. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
40. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
41. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
42. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
43. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
44. Kapтошка под соломой - мoй любимый спocoб пocaдки!
45. Формировать смородиновый куст можно как весной, так и осенью.
46. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
47. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
48. Как правильно подготовить малинник к новому сезону.
49. В московских клиниках лечение на современном оборудовании нормой стало.
50. Кто сказал, что шестиугольники только у пчёл?