Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
2. Живём с мужем в квартире, которая до брака принадлежала мужу.
3. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
4. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
5. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
6. Цветную капусту у нас обычно едят без большого восторга.
7. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
8. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
9. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
10. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
11. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
12. Россияне снова смогут оформлять иммиграционные визы в США.
13. Дочке десять лет, смотрится даже помладше из-за маленького роста.
14. Всю жизнь терпеть не могу своё имя - Валентина.
15. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
16. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
17. Большая оранжевая тыква созрела ещё не обязательно.
18. Это не обычное варенье, где яблоки плавают в литре сиропа.
19. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
20. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
21. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
22. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
23. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
24. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
25. Муж часто домашние дела на потом задвигает.
26. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
27. Туапсе экологическая катастрофа хуже анапской грозит.
28. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
29. Почему нужно срезать верхушки у яблонь.
30. Трещины на тротуарах превращаются в целые миры художника.
31. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
32. Пepвая пoдкopмка рaccaды народными средствами.
33. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
34. В Мавритании ходит один из самых впечатляющих поездов на планете.
35. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
36. Сыплю под Смородину весной по две ложки.
37. Топ - 5 самых неприхотливых сортов перца.
38. Маринованные помидоры с морковной ботвой.
39. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
40. Начинайте готовить ягодные кустарники к зимовке.
41. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
42. Как правильно подкармливать пионы чтобы они пышно цвели.
43. Многим из нас нравится замиокулькаса.
44. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
45. Taкой арoматный и вкycный.
46. Россиян ожидает резкое повышение тарифов на электроэнергию.
47. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
48. Топ - 5 идей для уюта на даче осенью.
49. Чем мульчировать малину осенью для защиты корней?
50. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.