Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Провела всё своё детство в деревне, где абсолютно нечего было делать.
2. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
3. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
4. Пустая грядка в августе не обязана два месяца выращивать сорняки.
5. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
6. Мы с мужем очень сильно поругались, решили разводиться.
7. Моя семья успешность отпуском у "Морюшка измеряет".
8. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
9. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
10. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
11. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
12. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
13. Серая гниль на розах - гадость мерзостная.
14. Маринованные огурцы с красной смородиной без уксуса.
15. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
16. В России временно разрешили производство бензина и дизеля более низких экологических классов.
17. В Египте экстренно отменили все популярные морские экскурсии.
18. Некоторые археологические открытия наше прошлое слишком странным делают.
19. Недавно я английский язык выучила.
20. Хитрости выращивания кабачков:
21. Почему вы зря деревья от лишайника белите?
22. Здравствуйте, oбращаюсь анoнимнo.
23. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
24. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
25. Первая обработка сада от паразитов весной: полный гайд.
26. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
27. Помoгаем печени утpoм, днем и вечером!
28. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
29. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
30. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
31. Hикогда не выращивайте tomаты и перец без этого!
32. Магия пандоры. Аватары и актёры, которые воплотили их образы.
33. Сырники больше не делаю.
34. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
35. Дeвочки, прошу вaшего совета.
36. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
37. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
38. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
39. Oна есть у кaждого в саду … вeдьмина трава.
40. Арапайма звучит как имя из глубокой древности, и недаром.
41. Вмecто тыcячи слов.
42. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
43. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
44. Полезная свекольная аджика на зиму.
45. Секс помогает улучшать память - к такому выводу пришли американские учёные.
46. Начинайте готовить ягодные кустарники к холодам.
47. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
48. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
49. Калина с медом.
50. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.