Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. На земле существуют места, которые выглядят как ошибка реальности.
2. Недавно узнала, что у матери туберкулёз открытой формы.
3. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
4. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
5. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
6. В 11 лет я сломала нос.
7. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
8. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
9. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
10. Россияне снова смогут оформлять иммиграционные визы в США.
11. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
12. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
13. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
14. В 2200 году марс уже перестал быть мёртвой красной пустыней.
15. МРТ Плода показывает мозг и глаза сквозь кости черепа.
16. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
17. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
18. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
19. Дочку с самого детства учила нести ответственность за свои поступки.
20. Мастурбация у птиц абсолютно естественным поведением оказалась.
21. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
22. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
23. Роза осирия - магия двух оттенков.
24. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
25. Как буддийские монахи вышли на протест и столкнулись с полицией.
26. Совет по рассаде томатов.
27. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
28. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
29. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
30. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
31. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
32. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
33. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
34. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
35. Сырники больше не делаю.
36. Яблоки очень уникальный продукт.
37. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
38. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
39. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
40. Очищение сосудов головного мозга.
41. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
42. Чтo делает с оргahизмом всего одна хурма.
43. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
44. Полезная памятка средств для сада и огорода.
45. Уже давно делаю по этому рецепту!
46. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
47. Маленькие, но важные детали делают интерьер особенным.
48. Чем подкармливать морковь в конце лета.
49. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
50. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.