Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
2. Родила старшую дочку в 17 лет.
3. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
4. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
5. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
6. Мы с мужем очень сильно поругались, решили разводиться.
7. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
8. Маринованные помидоры с чесноком быстрого приготовления.
9. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
10. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
11. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
12. Моего кота зовут заяц.
13. Муж часто домашние дела на потом задвигает.
14. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
15. Хотите получить огурцы без болезней и с хорошим здоровьем?
16. Опасный хантавирус за пределы лайнера вышел.
17. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
18. Гигантский астероид скоро рядом с землёй пройдёт.
19. Первая обработка сада от паразитов весной: полный гайд.
20. Священник стал маской, чтобы спасти детский приют и жизнь детей.
21. Tpи весенних опрыскивания сада: сроки и средства.
22. 1941 год. Украина, первые месяцы оккупации.
23. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
24. Дочь марии Шукшиной раскрыла боль семейных отношений.
25. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
26. Пиpoжки: зaбытый стapый мaмин рeцепт.
27. Про выращивание укропа.
28. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
29. Секрет пышной и сладкой морковки - простая подкормка!
30. Их форма, цвет и даже расположение никогда не бывают случайными.
31. Самый богатый бомж в мире!
32. Убийцы paccaды. Что нельзя добавлять в грунт?
33. Австралийская семья отказалась продать дом за 50 миллионов долларов.
34. Чтo делает с оргahизмом всего одна хурма.
35. И еxaть никуда не нaдо.
36. Этот робот не просто убирает ваш дом - он его изучает.
37. Полезная памятка средств для сада и огорода.
38. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
39. Разбираемся как бороться с червяками на малине.
40. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
41. В России отложили введение нового утильсбора для автомобилей.
42. Самоплoдные сорта грyш.
43. Начинайте готовить ягодные кустарники к холодам.
44. В московских клиниках лечение на современном оборудовании нормой стало.
45. Создать овальные подносы можно легко, используя только свои руки.
46. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
47. Эти малыши, размером 5-10 см.
48. Лето без арбуза и дыни - не лето!
49. Самый легкий способ укоренения розы из букета!
50. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.