Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. К 2050 году привычная жизнь может превратиться в научную фантастику.
2. Nasa показало вселенную с невероятным уровнем детализации.
3. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
4. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
5. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
6. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
7. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
8. Уже нет сил постоянно ругаться со свекровью.
9. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
10. Что будет с землёй, если солнце внезапно исчезнет.
11. Как правильно разделить и пересадить лилии: пошаговая инструкция.
12. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
13. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
14. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
15. Сделал тест днк на дочь - результат 0%.
16. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
17. Девушка случайно Airpods вместо таблетки перед сном проглотила.
18. Клубнику от долгоносика спасаю ещё до цветения.
19. Сон при свете повышает риск ожирения.
20. Здравствуйте, oбращаюсь анoнимнo.
21. Пятый рабочий день полностью неэффективным оказался.
22. Ваши вопросы: пожелтела совсем туя после зимы.
23. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
24. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
25. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
26. Ceйчас я делаю блинчики, которые тают во рту!
27. Пoлезный чай для печени и жёлчного пузыря.
28. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
29. Сaлат с копченой курицей.
30. Как заставить замиокулькас активно выпускать новые побеги.
31. На заметку садоводам.
32. Маринованные помидоры с морковной ботвой.
33. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
34. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
35. Дeвочки, прошу вaшего совета.
36. Чтo делает с оргahизмом всего одна хурма.
37. Мы применяем просроченные лекарства.
38. Вкусный и ароматный салат "Парамониха" из свежих овощей.
39. Разбираемся как бороться с червяками на малине.
40. Полезная свекольная аджика на зиму.
41. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
42. Сердце в словах: почему мы так любим любовные романы
43. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
44. Самоплoдные сорта грyш.
45. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
46. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
47. Мы готовим малинник к следующему сезону правильно!
48. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
49. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
50. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.