Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Valve начала Казахстану в разы больше налоговых денег приносить.
2. В Афганистане некоторые девочки получают свободу, только став "Мальчиками".
3. Крупный сбой Beget затронул работу сайтов рунета.
4. Москву предупредили о трёх днях возможных перебоев с интернетом.
5. Эти невероятные вещи заставляют усомниться в реальности.
6. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
7. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
8. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
9. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
10. Чуть не оставила фасоль на грядке до полного высыхания.
11. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
12. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
13. Соседка уже спрашивает, когда будем сажать озимый чеснок.
14. Холодный душ - это не просто способ проснуться быстро.
15. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
16. Мощная подкормка для овощей: секрет огромного количества завязей.
17. В России временно разрешили производство бензина и дизеля более низких экологических классов.
18. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
19. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
20. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
21. Российские медики о резком росте опасных кишечных инфекций предупредили.
22. Петербургские депутаты предложили изменить школьную программу полового воспитания.
23. Клубнику от долгоносика спасаю ещё до цветения.
24. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
25. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
26. В России запретят параллельный импорт компьютерной техники с 27 мая.
27. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
28. Священник стал маской, чтобы спасти детский приют и жизнь детей.
29. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
30. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
31. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
32. Токсичное поведение на работе может стать причиной увольнения.
33. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
34. Редкий секс с повышенным риском смертности и болезней сердца связан.
35. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
36. Oбычный лавровый лист заставит комнатные растения пышно цвести.
37. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
38. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
39. Нашатырь можно как хорошую подкормку для лука использовать.
40. На заметку садоводам.
41. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
42. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
43. Пoчему лук стoит caжать в клyбнике.
44. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
45. Врачи о бесполезности популярных бадов с коллагеном заявили.
46. Это лучшее, что я когда-либо ела!
47. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
48. Секс помогает улучшать память - к такому выводу пришли американские учёные.
49. Начинайте готовить ягодные кустарники к холодам.
50. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.