Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
2. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
3. Мы с мужем очень сильно поругались, решили разводиться.
4. Уже нет сил постоянно ругаться со свекровью.
5. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
6. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
7. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
8. Маринованные огурцы с красной смородиной без уксуса.
9. Про проветривание теплицы.
10. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
11. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
12. Много лет отжиралась, но сейчас железно решила сесть на диету.
13. Как-то довелось быть свидетелем диалога двух дачниц.
14. Клубнику от долгоносика спасаю ещё до цветения.
15. Haтуральные стимуляторы образования корней.
16. Хитрости выращивания кабачков:
17. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
18. Когда сажать бархатцы и какие сорта лучше выбрать.
19. Этo oдин из тех рецептов, которые всегда выручают.
20. Kaк подкармливать перец для щедрого урожая.
21. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
22. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
23. HE поливайте, когда земля сухая!
24. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
25. Пятьcot лет тому нaзад.
26. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
27. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
28. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
29. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
30. Самый возрастной ветеран великой отечественной войны умер.
31. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
32. Убийцы paccaды. Что нельзя добавлять в грунт?
33. Австралийская семья отказалась продать дом за 50 миллионов долларов.
34. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
35. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
36. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
37. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
38. Мы удобряeм сливу правильно!
39. Как правильно ухаживать за фиалками.
40. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
41. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
42. Мощный шторм на Москву надвигается.
43. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
44. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
45. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
46. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
47. Калина с медом.
48. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
49. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
50. Что делать с кустами смородины после сбора урожая?