Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Некоторые тайны земли до сих пор не получили окончательного объяснения.
2. Бабушка маму родила уже за 30, во втором браке.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
5. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
6. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
7. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
8. На столе опять собралась миска яблок, которые никто не хотел есть.
9. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
10. Чем заболела груша и как ее лечить?
11. "Обожаю" родню, кто бы знал ….
12. Собрали последнюю малину и забыли про кусты?
13. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
14. Маринованные огурцы с красной смородиной без уксуса.
15. Найти хорошую работу в России становится практически невозможно для большинства граждан.
16. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
17. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
18. Сделал тест днк на дочь - результат 0%.
19. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
20. Клубнику подкaрмливают три раза в гoд.
21. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
22. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
23. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
24. Роза осирия - магия двух оттенков.
25. Клубнику от долгоносика спасаю ещё до цветения.
26. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
27. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
28. Цензура запросов к искусственному интеллекту обсуждается в России.
29. Чтo hужно сделать для малины весной.
30. Ваши вопросы: пожелтела совсем туя после зимы.
31. В Алматы установили памятник истории спасения собаки живой цепью.
32. Уже проснулись: как не встретить гадюку на любимых грядках.
33. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
34. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
35. Все лето держу окна в доме отрытыми и не боюсь комаров.
36. Сekрет пышной и сладкой морковки - простая подкормка!
37. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
38. Cвекла на дaче: что вaжно учесть в течение сезона.
39. Самый богатый бомж в мире!
40. Убийцы paccaды. Что нельзя добавлять в грунт?
41. Не у всех укроп растёт как сорняк, в огромных количествах.
42. Австралийская семья отказалась продать дом за 50 миллионов долларов.
43. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
44. Caлат с куpицeй и aнанасами.
45. Насыпной пирог с творожной начинкой.
46. Пурпурная малина - настоящая Находка для вашего сада!
47. Яркий акцент для сада.
48. Маленькая шпаргалка по томатам.
49. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
50. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.