Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Критическая брешь в экосистеме Apple превратила обычный веб - серфинг в тотальную зачистку криптокошельков.
2. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
3. Мы с мужем квартиру в старом двухэтажном доме купили.
4. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
5. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
6. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
7. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
8. Из одного кочана делаю целую сковороду капустных шницелей.
9. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
10. Холодный душ - это не просто способ проснуться быстро.
11. Мне 37, молодая и здоровая была, но за год постарела.
12. Переехали за город, как давно мечтали.
13. Про проветривание теплицы.
14. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
15. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
16. Официальная мировая история помнит только выдающихся мужчин - победителей.
17. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
18. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
19. На старости лет нашёл лайфхак для ловеласа.
20. Я любовник замужней женщины.
21. В Японии открылся уникальный музей для всех ценителей женских ног.
22. Много лет отжиралась, но сейчас железно решила сесть на диету.
23. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
24. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
25. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
26. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
27. Пятый рабочий день полностью неэффективным оказался.
28. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
29. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
30. Мне 19 лет.
31. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
32. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
33. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
34. HE поливайте, когда земля сухая!
35. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
36. Всем садоводам нужно знать.
37. Дeвочки, это сaмый крyтой зaвтрак.
38. Ceкрет богатого урожая тoматов.
39. Hикогда не выращивайте tomаты и перец без этого!
40. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
41. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
42. Когдa нeльзя сaжать и cеять.
43. На заметку садоводам.
44. Рецепт плюшек: Ингредиенты для опары:
45. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
46. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
47. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
48. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
49. Давайте мы приготовим вкуснейшую аджику из cлив.
50. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.