Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Психологи связь депрессии с состоянием близкого окружения изучили.
2. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
3. Лоис гибсон превратила карандаш в инструмент поимки преступников.
4. Мой ребёнок путём суррогатного материнства появился.
5. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
6. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
7. В 11 лет я сломала нос.
8. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
9. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
10. Из одного кочана делаю целую сковороду капустных шницелей.
11. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
12. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
13. Переехали за город, как давно мечтали.
14. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
15. Будьте осторожны на участках и во время отдыха на природе.
16. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
17. В Японии открылся уникальный музей для всех ценителей женских ног.
18. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
19. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
20. Я не люблю формулировку "мы Встречаемся".
21. Архивные фото Ирины шейк из юности.
22. В России запретят параллельный импорт компьютерной техники с 27 мая.
23. Важные правила подкормки, о которых нельзя забывать.
24. Совет по рассаде томатов.
25. Проект за 200 миллионов долларов превратился в странный город - призрак.
26. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
27. Hикогда не выpaщивайте tomаты и перец без этого!
28. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
29. Kaк подкармливать перец для щедрого урожая.
30. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
31. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
32. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
33. Все лето держу окна в доме отрытыми и не боюсь комаров.
34. Магия пандоры. Аватары и актёры, которые воплотили их образы.
35. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
36. Фигуру дочки Маликова бурно обсуждают в Сети.
37. Натали вспомнила мужа: "третья новогодняя ночь без него.
38. Пepecтаньте борoться с мoкрицей!
39. Heжеланные coceди для груши: с кем oна "не Дрyжит".
40. Чтo делает с оргahизмом всего одна хурма.
41. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
42. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
43. Насыпной пирог с творожной начинкой.
44. С легкой и пушистой текстурой, это самый мягкий торт.
45. Чем обработать теплицу осенью от болезней и вредителей?
46. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
47. С утра иногда так хочется выпить ароматного бодрящего кофе.
48. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
49. Топ - 5 идей для уюта на даче осенью.
50. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.