Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Семейный квест: как победить грипп?
2. Человечество создало резервную копию урожая на случай катастрофы.
3. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
4. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
5. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
6. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
7. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
8. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
9. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
10. С мужем поженились рано, родили дочку.
11. Еда - это язык, который понимают все без единого слова.
12. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
13. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
14. Что будет с землёй, если солнце внезапно исчезнет.
15. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
16. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
17. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
18. Современный гейминг оказался исключительно полезен для человеческой психики.
19. Haтуральная защита капусты от вредителей.
20. План для женщин, которые одиноки и ищут себе мужчину!
21. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
22. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
23. Некоторые археологические открытия наше прошлое слишком странным делают.
24. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
25. Подорожник на участке: пора проверять почву!
26. В Москве предупредили о возможных ограничениях связи.
27. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
28. Уже проснулись: как не встретить гадюку на любимых грядках.
29. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
30. Легенды мирового рока украсили фасады домов в елизаветино.
31. Картофельные ростки: золотой актив, который вы зря выбрасывали!
32. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
33. Нежный пирог черный принц из варенья.
34. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
35. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
36. Дочь марии Шукшиной раскрыла боль семейных отношений.
37. "Фишка моей внешности в том, что я родилась старой.
38. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
39. Heжнeйший пирог 4 стакана.
40. Замечательный закусочный торт из нежной куриной грудки!
41. Чтo делает с оргahизмом всего одна хурма.
42. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
43. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
44. Давайте мы приготовим вкуснейшую аджику из cлив.
45. Полезная памятка средств для сада и огорода.
46. В 2026 году в России ожидается волна сокращений персонала.
47. Зачем нам медный и железный купорос.
48. Клубника на подоконнике - аромат лета круглый год!
49. Полезная свекольная аджика на зиму.
50. Какие лилии могут зимовать в грунте!