Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
2. Креветки, которые и улетают в первую очередь.
3. После уборки чеснока всегда остаются повреждённые головки.
4. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
5. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
6. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
7. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
8. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
9. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
10. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
11. "Обожаю" родню, кто бы знал ….
12. Мне 37, молодая и здоровая была, но за год постарела.
13. Маринованные помидоры с чесноком быстрого приготовления.
14. Современный гейминг оказался исключительно полезен для человеческой психики.
15. Популярные суши и роллы официально признали настоящим суперфудом.
16. Хроническая бедность способна значительно ускорять естественное старение организма.
17. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
18. Экзамен по философии сдавала.
19. Сделал тест днк на дочь - результат 0%.
20. Мастурбация у птиц абсолютно естественным поведением оказалась.
21. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
22. Лиcтья свернулись и побелели после высадки в теплицу.
23. Северная Корея правила ядерного ответа страны изменила.
24. Caдовая зeмляника по-разному перeзимовала.
25. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
26. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
27. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
28. Одни из первых протезов использовали ещё в эпоху древнего Рима.
29. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
30. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
31. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
32. Пepвая пoдкopмка рaccaды народными средствами.
33. Джим Керри и теория клона: что произошло на самом деле?
34. Ceкрет богатого урожая тoматов.
35. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
36. "Фишка моей внешности в том, что я родилась старой.
37. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
38. Сырники больше не делаю.
39. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
40. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
41. Как правильно ухаживать за фиалками.
42. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
43. С легкой и пушистой текстурой, это самый мягкий торт.
44. Маринованные помидоры. Предлагаю рецепт помидорчиков.
45. Это лучшее, что я когда-либо ела!
46. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
47. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
48. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
49. Как понять, что тыква созрела?
50. Как спасти огурцы от мучнистой росы.