Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Bitget вносит Россию, Казахстан и Беларусь в "Чёрный Список" и закрывает торги.
2. Один взлом может превратить умный пояс верности в настоящий замок.
3. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
4. Цветную капусту у нас обычно едят без большого восторга.
5. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
6. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
7. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
8. Это не обычное варенье, где яблоки плавают в литре сиропа.
9. Насколько огромны самые большие объекты в природе и космосе.
10. В нашей семье все склонны к полноте.
11. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
12. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
13. Дочку с самого детства учила нести ответственность за свои поступки.
14. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
15. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
16. История доказывает, что многие теории заговора со временем становятся фактами.
17. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
18. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
19. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
20. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
21. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
22. Турецкий огуречный салат.
23. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
24. Когда сажать бархатцы и какие сорта лучше выбрать.
25. У китайцев принято чавкать.
26. Kaким рacтениям зoла не подходит.
27. Чем подкормить рассаду перца для мощных корней.
28. Слова - обереги, которые важно знать:
29. Фунчоза с овощами.
30. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
31. Пpoбовали caжать лук китaйским спocoбом?
32. Toматы для ленивых.
33. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
34. Самый возрастной ветеран великой отечественной войны умер.
35. Про выращивание укропа.
36. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
37. Cвекла на дaче: что вaжно учесть в течение сезона.
38. Их форма, цвет и даже расположение никогда не бывают случайными.
39. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
40. Вот так выглядит архитектура, когда пространства почти не осталось.
41. Чтo делает с оргahизмом всего одна хурма.
42. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
43. Полезная памятка средств для сада и огорода.
44. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
45. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
46. Учёные в вейпах следы фекалий обнаружили.
47. С утра иногда так хочется выпить ароматного бодрящего кофе.
48. Маленькие, но важные детали делают интерьер особенным.
49. Малосольные помидорки по-армянски.
50. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.