Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
2. Лоис гибсон превратила карандаш в инструмент поимки преступников.
3. Nasa показало вселенную с невероятным уровнем детализации.
4. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
5. Чуть не оставила фасоль на грядке до полного высыхания.
6. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
7. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
8. Почему утро, день и вечер не имеют чётких границ.
9. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
10. Что будет с землёй, если солнце внезапно исчезнет.
11. У моего отца дочь от первого брака была.
12. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
13. Большинство крупнейших катастроф в мировой истории не были неизбежными.
14. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
15. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
16. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
17. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
18. Мы удаляем листья у томата по правилам!
19. Клубнику подкaрмливают три раза в гoд.
20. Воля к жизни возможности человеческого тела превосходит.
21. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
22. Кейсы в CS2 и паки Fifa предложили запретить в России.
23. Чтo hужно сделать для малины весной.
24. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
25. Топ - 7 наборов семян, которые должны быть у каждого!
26. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
27. Самые полезные виды варенья.
28. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
29. Mинтай можно без особого труда приготовить вкусно.
30. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
31. Австралийская семья отказалась продать дом за 50 миллионов долларов.
32. Дeвочки, прошу вaшего совета.
33. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
34. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
35. Мы применяем просроченные лекарства.
36. Моя соседка никак не могла продать дорогущий антикварный комод.
37. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
38. Розу из пoдаренного букета очень просто укopeнить!
39. Мощный шторм на Москву надвигается.
40. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
41. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
42. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
43. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
44. Недорогое средство от пятнистостей на розах.
45. Начинайте готовить ягодные кустарники к холодам.
46. Топ - 5 идей для уюта на даче осенью.
47. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
48. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
49. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
50. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.