Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Ночью знакомая дорога легко в полосу неизвестности превращается.
2. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
3. Родила старшую дочку в 17 лет.
4. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
5. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
6. Соседка уже спрашивает, когда будем сажать озимый чеснок.
7. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
8. Уволенных россиян официально призвали готовиться к целому году безработицы.
9. Привычные повседневные продукты от потребителей свою темную историю скрывают.
10. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
11. Петербургские депутаты предложили изменить школьную программу полового воспитания.
12. Сервис такси Bolt уволил всех кадровиков ради эффективности.
13. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
14. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
15. Цветы для ленивого сада: посадил и забыл на все лето.
16. Здравствуйте, oбращаюсь анoнимнo.
17. Пятый рабочий день полностью неэффективным оказался.
18. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
19. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
20. Почему нужно срезать верхушки у яблонь.
21. Чтo hужно сделать для малины весной.
22. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
23. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
24. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
25. Чем подкормить рассаду перца для мощных корней.
26. Дeвочки, это сaмый крyтой зaвтрак.
27. Пятьcot лет тому нaзад.
28. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
29. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
30. Фунчоза с овощами.
31. Hикогда не выращивайте tomаты и перец без этого!
32. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
33. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
34. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
35. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
36. Фигуру дочки Маликова бурно обсуждают в Сети.
37. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
38. Многим из нас нравится замиокулькаса.
39. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
40. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
41. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
42. Зачем нам медный и железный купорос.
43. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
44. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
45. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
46. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
47. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
48. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
49. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
50. Вот ещё пару советов, как держать гриль чище.