Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
2. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
3. На столе опять собралась миска яблок, которые никто не хотел есть.
4. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
5. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
6. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
7. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
8. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
9. Зеленый бочок у картошки: срезать или выбросить?
10. Маринованные помидоры с чесноком быстрого приготовления.
11. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
12. Здоровый быт начинается с внимания к предметам, которые вас окружают.
13. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
14. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
15. Петербургские депутаты предложили изменить школьную программу полового воспитания.
16. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
17. Обычный поход в туалет потерей памяти закончился.
18. Из параллельного импорта уберут западные ноутбуки.
19. Моя мама очень долго болью в коленях мучилась.
20. В России запретят параллельный импорт компьютерной техники с 27 мая.
21. Недавно я английский язык выучила.
22. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
23. Почему обеспеченные люди реже приложения для знакомств выбирают.
24. Пятый рабочий день полностью неэффективным оказался.
25. Исследование рост половой дисфункции среди молодого поколения показало.
26. Последний защитник брестской крепости.
27. Картофельные ростки: золотой актив, который вы зря выбрасывали!
28. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
29. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
30. Oбычный лавровый лист заставит комнатные растения пышно цвести.
31. Heжнeйший пирог 4 стакана.
32. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
33. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
34. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
35. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
36. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
37. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
38. Моя соседка никак не могла продать дорогущий антикварный комод.
39. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
40. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
41. Россиян ожидает резкое повышение тарифов на электроэнергию.
42. Мы не дадим слизням перезимовать!
43. С утра иногда так хочется выпить ароматного бодрящего кофе.
44. Недорогое средство от пятнистостей на розах.
45. Начинайте готовить ягодные кустарники к холодам.
46. Маленькая шпаргалка по томатам.
47. Чем подкармливать морковь в конце лета.
48. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
49. Защита от муравьев.
50. Вот ещё пару советов, как держать гриль чище.