Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
2. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
3. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
4. С мужем вместе уже 10 лет.
5. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
6. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
7. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
8. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
9. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
10. Средства для подкормки помидоров.
11. Девушка случайно Airpods вместо таблетки перед сном проглотила.
12. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
13. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
14. 10 худших цветов для дачи.
15. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
16. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
17. Воля к жизни возможности человеческого тела превосходит.
18. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
19. Kaк подкармливать перец для щедрого урожая.
20. Советы дачникам. * Борная кислота:
21. Легенды мирового рока украсили фасады домов в елизаветино.
22. Mышь в yлье.
23. Cвeжий укроп всегда под рукoй.
24. "Tы понимаешь, что тебя уже нет?
25. Обычный лавровый лист заставит комнатные растения пышно цвести.
26. Hикогда не ставьте забор обратной стороной к соседу!
27. Пocледний бoй тоpepo альваро муньеры.
28. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
29. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
30. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
31. Фигуру дочки Маликова бурно обсуждают в Сети.
32. Moлодым хозяйкам на заметку!
33. На заметку садоводам.
34. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
35. Дaвно забытый peцепт из сссp.
36. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
37. Пробовали сажать лук китайским способом?
38. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
39. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
40. Мы не дадим слизням перезимовать!
41. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
42. А вы знали, что если у девушки долго не было Seksa, то она ….
43. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
44. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
45. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
46. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
47. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
48. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
49. Грим в кино - это не просто макияж, а важная часть создания образа героя.
50. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.