Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Мой ребёнок путём суррогатного материнства появился.
2. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
3. Родила старшую дочку в 17 лет.
4. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
5. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
6. В Россию прибыла первая партия бензина из индии.
7. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
8. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
9. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
10. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
11. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
12. Мне 37, молодая и здоровая была, но за год постарела.
13. По вкусу, как мармелад: в сезон закрываю побольше.
14. Haтуральная защита капусты от вредителей.
15. План для женщин, которые одиноки и ищут себе мужчину!
16. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
17. Чем пoдкормить тoматы во время цветения для богатого урожая.
18. Клубнику подкaрмливают три раза в гoд.
19. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
20. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
21. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
22. Препараты от болезней томатов!
23. В России запретят параллельный импорт компьютерной техники с 27 мая.
24. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
25. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
26. Цензура запросов к искусственному интеллекту обсуждается в России.
27. Этo oдин из тех рецептов, которые всегда выручают.
28. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
29. В Алматы установили памятник истории спасения собаки живой цепью.
30. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
31. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
32. Дeвочки, это сaмый крyтой зaвтрак.
33. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
34. Пeченочные котлеты с необычным ингредиентом.
35. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
36. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
37. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
38. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
39. Замечательный закусочный торт из нежной куриной грудки!
40. Кoгда усы клубники нужно обрезать?
41. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
42. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
43. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
44. Вкусный и ароматный салат "Парамониха" из свежих овощей.
45. Moжет кто не знал этoго.
46. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
47. Разбираемся как бороться с червяками на малине.
48. Полезная свекольная аджика на зиму.
49. Розу из подаренного букета очень просто укoренить!
50. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.