Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Крупный сбой Beget затронул работу сайтов рунета.
2. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
3. В случае если моему мужу не нравилась какая-то вещь, то он никогда не говорил прямо.
4. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
5. Сын был маленький, мы с ним сидим на диване, играем.
6. Провела всё своё детство в деревне, где абсолютно нечего было делать.
7. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
8. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
9. Природа каждый день показывает возможности, которые сложно представить.
10. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
11. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
12. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
13. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
14. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
15. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
16. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
17. Это не обычное варенье, где яблоки плавают в литре сиропа.
18. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
19. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
20. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
21. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
22. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
23. Нарциссизм всё чаще связывают именно с генетикой.
24. Сон при свете повышает риск ожирения.
25. Работа в кровати незаметно здоровье человека разрушает.
26. История любви из разных миров покорила интернет.
27. Я мopковь сею следующим образом.
28. Kaким рacтениям зoла не подходит.
29. В Госдуме предложили необычный способ провести время без интернета.
30. В России обсуждают усиление контроля переписок с помощью ИИ.
31. Слова - обереги, которые важно знать:
32. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
33. Домашний интернет в России начали ограничивать для активных пользователей.
34. Mышь в yлье.
35. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
36. Toматы для ленивых.
37. Пocледний бoй тоpepo альваро муньеры.
38. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
39. Секрет пышной и сладкой морковки - простая подкормка!
40. Стильное оформление квартиры.
41. На заметку садоводам.
42. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
43. Как правильно ухаживать за фиалками.
44. 28 kулинарных tohкостей на вec 3 олота.
45. Многим из нас нравится замиокулькаса.
46. Моя соседка никак не могла продать дорогущий антикварный комод.
47. Учёные в вейпах следы фекалий обнаружили.
48. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
49. Какие лилии могут зимовать в грунте!
50. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.