Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
2. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
3. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
4. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
5. Родила дочь в свой день рождения.
6. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
7. Все выбрасывают арбузные корки, а я замариновала одну банку.
8. Большая оранжевая тыква созрела ещё не обязательно.
9. Это не обычное варенье, где яблоки плавают в литре сиропа.
10. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
11. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
12. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
13. Чем заболела груша и как ее лечить?
14. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
15. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
16. Мне 37, молодая и здоровая была, но за год постарела.
17. Про проветривание теплицы.
18. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
19. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
20. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
21. Малина в июне в правильной подкормке нуждается.
22. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
23. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
24. В России обновили правила сдачи экзаменов на водительские права.
25. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
26. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
27. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
28. После того как рухнула советская власть, что сделали?
29. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
30. Всегда в путешествиях.
31. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
32. Советы дачникам. * Борная кислота:
33. Мой способ подкормки молодой рассады томатов.
34. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
35. Фунчоза с овощами.
36. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
37. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
38. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
39. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
40. Убийцы paccaды. Что нельзя добавлять в грунт?
41. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
42. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
43. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
44. Чтo делает с оргahизмом всего одна хурма.
45. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
46. Не пробовали посадить лук китайским способом?
47. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
48. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
49. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
50. Секрет крупного озимого чеснока - простая подкормка при посадке!