Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Зеленый бочок у картошки: срезать или выбросить?
2. Как правильно разделить и пересадить лилии: пошаговая инструкция.
3. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
4. Переехали за город, как давно мечтали.
5. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
6. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
7. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
8. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
9. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
10. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
11. Когда-то давно у меня был кот с сумасшедшим характером.
12. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
13. Плитка из ведерка от майонеза: дачный шик своими руками.
14. Архивные фото Ирины шейк из юности.
15. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
16. Как подкормить малину весной для крупных и сладких ягод.
17. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
18. 10 растений с белыми цветами.
19. Мой способ подкормки молодой рассады томатов.
20. В Госдуме предложили необычный способ провести время без интернета.
21. Когда вид на озеро главным элементом проекта дома становится.
22. Дeвочки, это сaмый крyтой зaвтрак.
23. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
24. "Фишка моей внешности в том, что я родилась старой.
25. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
26. Маринованные помидоры с морковной ботвой.
27. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
28. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
29. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
30. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
31. Oна есть у кaждого в саду … вeдьмина трава.
32. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
33. Арапайма звучит как имя из глубокой древности, и недаром.
34. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
35. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
36. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
37. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
38. Формировать смородиновый куст можно как весной, так и осенью.
39. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
40. Начинайте готовить ягодные кустарники к холодам.
41. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
42. Создать овальные подносы можно легко, используя только свои руки.
43. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
44. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
45. Молодая кровь способна омолаживать тело - это доказали учёные.
46. Банановая кожура - природное удобрение для огорода.
47. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.
48. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию:
49. Подготовка девушек - футболисток к новому сезону - это сочетание выносливости, силы и точной дисциплины.
50. Понимание того, когда созреют томаты, важно для своевременного сбора урожая.