Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
2. Большая оранжевая тыква созрела ещё не обязательно.
3. Почему утро, день и вечер не имеют чётких границ.
4. МРТ Плода показывает мозг и глаза сквозь кости черепа.
5. Муж постоянно по утрам будит.
6. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
7. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
8. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
9. Дочку с самого детства учила нести ответственность за свои поступки.
10. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
11. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
12. Мы удаляем листья у томата по правилам!
13. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
14. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
15. Петербургские депутаты предложили изменить школьную программу полового воспитания.
16. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
17. Важные правила подкормки, о которых нельзя забывать.
18. Мой личный лайфхак относительно учёбы.
19. История любви из разных миров покорила интернет.
20. Турецкий огуречный салат.
21. Натуральные стимуляторы образования корней.
22. Почему обеспеченные люди реже приложения для знакомств выбирают.
23. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
24. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
25. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
26. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
27. Полёты к луне снова реальностью спустя десятилетия стали.
28. Три народных средства для крепкой рассады томатов.
29. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
30. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
31. Клещи - мутанты из Африки атакуют россиян.
32. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
33. Пoлезный чай для печени и жёлчного пузыря.
34. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
35. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
36. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
37. Многим из нас нравится замиокулькаса.
38. Вкусный и ароматный салат "Парамониха" из свежих овощей.
39. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
40. А вы знали, что если у девушки долго не было Seksa, то она ….
41. Пурпурная малина - настоящая Находка для вашего сада!
42. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
43. В московских клиниках лечение на современном оборудовании нормой стало.
44. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
45. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
46. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
47. Вкусный рецепт бургера с курочкой.
48. Не люблю отдых дальше своего города.
49. Аптечка для ваших растений.
50. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.