Лайфхаки

Маленькие, полезные хитрости

Защиты от веб

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

Последние обновления на сайте:

1. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
2. После аварии моего мужа ниже пояса парализовало.
3. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
4. Долго планировали с мужем переезд, нашли жилье.
5. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
6. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
7. Открыла вчера тыкву, а она оказалась огромной.
8. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
9. Большая оранжевая тыква созрела ещё не обязательно.
10. Зеленый бочок у картошки: срезать или выбросить?
11. У моего отца дочь от первого брака была.
12. Мне 37, молодая и здоровая была, но за год постарела.
13. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
14. Про проветривание теплицы.
15. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
16. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
17. Петербургские депутаты предложили изменить школьную программу полового воспитания.
18. Малина в июне в правильной подкормке нуждается.
19. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
20. Моя мама очень долго болью в коленях мучилась.
21. Caдовая зeмляника по-разному перeзимовала.
22. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
23. Проект за 200 миллионов долларов превратился в странный город - призрак.
24. Клещи - мутанты из Африки атакуют россиян.
25. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
26. Нежный пирог черный принц из варенья.
27. Hикогда не выращивайте tomаты и перец без этого!
28. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
29. Про выращивание укропа.
30. Когдa нeльзя сaжать и cеять.
31. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
32. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
33. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
34. Очищение сосудов головного мозга.
35. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
36. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
37. Фиhики как лekapство от всего или 20 фактов о финиках.
38. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
39. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
40. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
41. Зачем нам медный и железный купорос.
42. В России отложили введение нового утильсбора для автомобилей.
43. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
44. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
45. Начинайте готовить ягодные кустарники к холодам.
46. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
47. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
48. Не люблю отдых дальше своего города.
49. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
50. Эта четвёрка стала воплощением скорости, которую сложно превзойти.