Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
2. С мужем вместе уже 10 лет.
3. Открыла вчера тыкву, а она оказалась огромной.
4. Еда - это язык, который понимают все без единого слова.
5. Всю жизнь терпеть не могу своё имя - Валентина.
6. Мы с мужем очень сильно поругались, решили разводиться.
7. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
8. Должны были с женой и родителями лететь на свадьбу сестры.
9. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
10. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
11. Большинство крупнейших катастроф в мировой истории не были неизбежными.
12. Сезон клубники в самом разгаре!
13. Формировка огурцов. 1. начинаю с нижней части.
14. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
15. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
16. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
17. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
18. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
19. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
20. История любви из разных миров покорила интернет.
21. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
22. Одни из первых протезов использовали ещё в эпоху древнего Рима.
23. 10 растений с белыми цветами.
24. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
25. Трещины на тротуарах превращаются в целые миры художника.
26. Легенды мирового рока украсили фасады домов в елизаветино.
27. Помoгаем печени утpoм, днем и вечером!
28. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
29. В Мавритании ходит один из самых впечатляющих поездов на планете.
30. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
31. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
32. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
33. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
34. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
35. Дeвочки, прошу вaшего совета.
36. Замиокулькас. Это следует сделать сразу после покупки.
37. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
38. Маринованные помидоры. Предлагаю рецепт помидорчиков.
39. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
40. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
41. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
42. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
43. Как ухаживать за астрами для пышного цветения.
44. Маленькая шпаргалка по томатам.
45. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
46. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
47. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
48. Перед шоу Дронов в Катаре тщательная подготовка проходит.
49. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
50. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.