Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
2. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
3. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
4. В Россию прибыла первая партия бензина из индии.
5. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
6. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
7. Сняли лук или ранний картофель и бросили голую грядку до весны?
8. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
9. У моего отца дочь от первого брака была.
10. Переехали за город, как давно мечтали.
11. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
12. По вкусу, как мармелад: в сезон закрываю побольше.
13. Маринованные помидоры с чесноком быстрого приготовления.
14. Сезон клубники в самом разгаре!
15. Мощная подкормка для овощей: секрет огромного количества завязей.
16. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
17. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
18. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
19. Привычные повседневные продукты от потребителей свою темную историю скрывают.
20. Возможную блокировку Github снова обсуждают в России.
21. Обычный поход в туалет потерей памяти закончился.
22. После того как рухнула советская власть, что сделали?
23. Мой способ подкормки молодой рассады томатов.
24. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
25. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
26. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
27. Всем садоводам нужно знать.
28. Обычный лавровый лист заставит комнатные растения пышно цвести.
29. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
30. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
31. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
32. Самый возрастной ветеран великой отечественной войны умер.
33. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
34. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
35. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
36. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
37. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
38. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
39. Пробовали сажать лук китайским способом?
40. Фильм, который меняет стереотипное представление об атомной энергетике.
41. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
42. Мы удобряeм сливу правильно!
43. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
44. Этот робот не просто убирает ваш дом - он его изучает.
45. Это лучшее, что я когда-либо ела!
46. Нашим любимым подписчикам, дачникам и садоводам на заметку.
47. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
48. Топ - 5 идей для уюта на даче осенью.
49. Пергола - это не просто арка или навес.
50. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.