Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
2. Россияне снова смогут оформлять иммиграционные визы в США.
3. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
4. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
5. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
6. На море вляпалась в курортный роман.
7. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
8. Я любовник замужней женщины.
9. Малина в июне в правильной подкормке нуждается.
10. Когда-то давно у меня был кот с сумасшедшим характером.
11. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
12. В популярных духах обнаружили потенциально опасные вещества.
13. Работа в кровати незаметно здоровье человека разрушает.
14. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
15. Кейсы в CS2 и паки Fifa предложили запретить в России.
16. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
17. Священник стал маской, чтобы спасти детский приют и жизнь детей.
18. Kaк подкармливать перец для щедрого урожая.
19. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
20. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
21. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
22. Топ - 7 наборов семян, которые должны быть у каждого!
23. Сekрет пышной и сладкой морковки - простая подкормка!
24. В Мавритании ходит один из самых впечатляющих поездов на планете.
25. Обычный лавровый лист заставит комнатные растения пышно цвести.
26. Самые полезные виды варенья.
27. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
28. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
29. Пиpoжки: зaбытый стapый мaмин рeцепт.
30. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
31. Дaвно забытый peцепт из сссp.
32. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
33. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
34. Замиокулькас. Это следует сделать сразу после покупки.
35. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
36. Полезная памятка средств для сада и огорода.
37. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
38. Конечно! Вот классический рецепт варенья из яблок с апельсином:
39. Морозостойкие сорта гибридной хурмы.
40. В России начались испытания новой вакцины против аллергии.
41. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
42. Срывать недозрелые плоды или ждать полной зрелости?
43. Создать овальные подносы можно легко, используя только свои руки.
44. Чем подкармливать морковь в конце лета.
45. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
46. Чем подкормить клубнику в августе крупного урожая.
47. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
48. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
49. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
50. Эта четвёрка стала воплощением скорости, которую сложно превзойти.