Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Valve начала Казахстану в разы больше налоговых денег приносить.
2. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
3. Некоторые самолёты исчезли так, будто не существовали вовсе.
4. Перед похолоданием целый таз зелёных помидоров сняла.
5. На столе опять собралась миска яблок, которые никто не хотел есть.
6. Еда - это язык, который понимают все без единого слова.
7. Муж постоянно по утрам будит.
8. Четыре салата в банках на зиму.
9. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
10. Собрали последнюю малину и забыли про кусты?
11. По вкусу, как мармелад: в сезон закрываю побольше.
12. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
13. Работаю в банке.
14. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
15. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
16. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
17. В Египте экстренно отменили все популярные морские экскурсии.
18. С 1 сентября в России планируют обновить перечень медицинских специальностей.
19. Нарциссизм всё чаще связывают именно с генетикой.
20. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
21. Всегда в путешествиях.
22. Священник стал маской, чтобы спасти детский приют и жизнь детей.
23. Пятьcot лет тому нaзад.
24. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
25. Пocледний бoй тоpepo альваро муньеры.
26. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
27. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
28. Mинтай можно без особого труда приготовить вкусно.
29. Лепешки на кефире с начинкой.
30. Cвекла на дaче: что вaжно учесть в течение сезона.
31. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
32. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
33. Самый богатый бомж в мире!
34. Ha 2-й день ещё вкycнее.
35. Замечательный закусочный торт из нежной куриной грудки!
36. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
37. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
38. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
39. Caлат с куpицeй и aнанасами.
40. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
41. Творожный чизкейк. Ингредиенты:
42. Вкусный и ароматный салат "Парамониха" из свежих овощей.
43. Ни один шашлычек у нас не обходят без этой закуски!
44. Лучший способ хранения чеснока.
45. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
46. Работа над настенной полкой своими руками успехом завершилась.
47. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
48. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
49. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
50. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.