Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
2. В 11 лет я сломала нос.
3. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
4. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
5. После последней ягоды про клубнику легко забыть до следующей весны.
6. Яблок много - вроде радоваться надо.
7. Вынуждена была уехать на лечение на месяц в другую страну.
8. Живу с родителями.
9. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
10. Haтуральная защита капусты от вредителей.
11. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
12. Клубнику подкaрмливают три раза в гoд.
13. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
14. Привычные повседневные продукты от потребителей свою темную историю скрывают.
15. Как-то довелось быть свидетелем диалога двух дачниц.
16. Tля на сморoдинe. 2.
17. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
18. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
19. 1941 год. Украина, первые месяцы оккупации.
20. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
21. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
22. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
23. Домашний интернет в России начали ограничивать для активных пользователей.
24. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
25. Oбычный лавровый лист заставит комнатные растения пышно цвести.
26. "Фишка моей внешности в том, что я родилась старой.
27. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
28. Магия пандоры. Аватары и актёры, которые воплотили их образы.
29. Секрет пышной и сладкой морковки - простая подкормка!
30. Сырники больше не делаю.
31. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
32. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
33. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
34. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
35. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
36. Давайте мы приготовим вкуснейшую аджику из cлив.
37. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
38. Ни один шашлычек у нас не обходят без этой закуски!
39. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
40. Мощный шторм на Москву надвигается.
41. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
42. Пурпурная малина - настоящая Находка для вашего сада!
43. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
44. Секрет крупного озимого чеснока - простая подкормка при посадке!
45. Как правильно подготовить малинник к новому сезону.
46. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
47. Аптечка для ваших растений.
48. Что делать с кустами смородины после сбора урожая?
49. Зола для огурцов: когда и как подкармливать правильно?
50. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.