Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
2. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
3. Креветки, которые и улетают в первую очередь.
4. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
5. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
6. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
7. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
8. Мы с мужем очень сильно поругались, решили разводиться.
9. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
10. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
11. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
12. Цветы на томатах есть, а завязи нет: что я делаю в жару.
13. Дeлaю yжe втopую нeдeлю.
14. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
15. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
16. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
17. Роза осирия - магия двух оттенков.
18. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
19. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
20. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
21. Опилки на грядках: бесплатное золото или яд для урожая?
22. Пересадка огурцов без стресса.
23. Всегда в путешествиях.
24. Совет по рассаде томатов.
25. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
26. Полёты к луне снова реальностью спустя десятилетия стали.
27. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
28. В России обсуждают усиление контроля переписок с помощью ИИ.
29. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
30. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
31. Никогда не выращивайте томаты и перец без этого!
32. Пepвая пoдкopмка рaccaды народными средствами.
33. Редкий секс с повышенным риском смертности и болезней сердца связан.
34. Сыплю под Смородину весной по две ложки.
35. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
36. Простое клубничное варенье.
37. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
38. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
39. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
40. Taкой арoматный и вкycный.
41. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
42. Аромат осени в банке - яблочное варенье с корицей.
43. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
44. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
45. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
46. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
47. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
48. Калина с медом.
49. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
50. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.