Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
2. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
3. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
4. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
5. Всю жизнь терпеть не могу своё имя - Валентина.
6. Большая оранжевая тыква созрела ещё не обязательно.
7. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
8. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
9. Чем заболела груша и как ее лечить?
10. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
11. Я не худею к морю - езжу в Турцию.
12. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
13. На старости лет нашёл лайфхак для ловеласа.
14. Моего кота зовут заяц.
15. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
16. Обычный поход в туалет потерей памяти закончился.
17. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
18. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
19. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
20. Гигантский астероид скоро рядом с землёй пройдёт.
21. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
22. Kaк подкармливать перец для щедрого урожая.
23. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
24. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
25. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
26. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
27. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
28. Слова - обереги, которые важно знать:
29. HE поливайте, когда земля сухая!
30. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
31. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
32. Oбычный лавровый лист заставит комнатные растения пышно цвести.
33. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
34. Сырники больше не делаю.
35. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
36. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
37. Caлат "Мaкcим". Ингредиенты:
38. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
39. Фиhики как лekapство от всего или 20 фактов о финиках.
40. Не пробовали посадить лук китайским способом?
41. Помoщь для пeчени.
42. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
43. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
44. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
45. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
46. Создавать своими руками - значит делать вещи особенными.
47. Красивые садовые дорожки своими руками.
48. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
49. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
50. Вкусный рецепт бургера с курочкой.