Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
2. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
3. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
4. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
5. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
6. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
7. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
8. Почему утро, день и вечер не имеют чётких границ.
9. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
10. Уже нет сил постоянно ругаться со свекровью.
11. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
12. Должны были с женой и родителями лететь на свадьбу сестры.
13. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
14. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
15. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
16. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
17. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
18. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
19. Хроническая бедность способна значительно ускорять естественное старение организма.
20. Здоровый быт начинается с внимания к предметам, которые вас окружают.
21. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
22. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
23. Малина в июне в правильной подкормке нуждается.
24. Обычные прогулки мощной поддержкой для организма оказались.
25. Архивные фото Ирины шейк из юности.
26. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
27. Пятый рабочий день полностью неэффективным оказался.
28. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
29. Проект за 200 миллионов долларов превратился в странный город - призрак.
30. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
31. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
32. Слова - обереги, которые важно знать:
33. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
34. Дeвочки, это сaмый крyтой зaвтрак.
35. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
36. Самые полезные виды варенья.
37. Не у всех укроп растёт как сорняк, в огромных количествах.
38. Пepecтаньте борoться с мoкрицей!
39. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
40. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
41. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
42. И еxaть никуда не нaдо.
43. Конечно! Вот классический рецепт варенья из яблок с апельсином:
44. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
45. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
46. Маленькие, но важные детали делают интерьер особенным.
47. 5 секретов обильного урожая огурцов.
48. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
49. Очень вкусная аджика на зиму!
50. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.