Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Человечество создало резервную копию урожая на случай катастрофы.
2. Эти невероятные вещи заставляют усомниться в реальности.
3. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
4. Провела всё своё детство в деревне, где абсолютно нечего было делать.
5. Цветную капусту у нас обычно едят без большого восторга.
6. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
7. Все выбрасывают арбузные корки, а я замариновала одну банку.
8. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
9. После уборки чеснока всегда остаются повреждённые головки.
10. В 2200 году марс уже перестал быть мёртвой красной пустыней.
11. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
12. С 1 марта банки будут блокировать переводы при обнаружении вируса.
13. Сняли лук или ранний картофель и бросили голую грядку до весны?
14. Мне 37, молодая и здоровая была, но за год постарела.
15. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
16. В нашей семье все склонны к полноте.
17. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
18. Формировка огурцов. 1. начинаю с нижней части.
19. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
20. Средства для подкормки помидоров.
21. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
22. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
23. Caдовая зeмляника по-разному перeзимовала.
24. Как буддийские монахи вышли на протест и столкнулись с полицией.
25. Натуральные стимуляторы образования корней.
26. Банановая кожура в БОРЬБЕ с муравьями.
27. Всегда в путешествиях.
28. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
29. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
30. Легенды мирового рока украсили фасады домов в елизаветино.
31. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
32. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
33. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
34. Пpичины, пoчему уcыхает чеснок при хранении.
35. "Фишка моей внешности в том, что я родилась старой.
36. Фигуру дочки Маликова бурно обсуждают в Сети.
37. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
38. Маринованные помидоры с морковной ботвой.
39. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
40. Рецепт плюшек: Ингредиенты для опары:
41. Пробовали сажать лук китайским способом?
42. Лучший способ хранения чеснока.
43. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
44. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
45. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
46. Чем обработать теплицу осенью от болезней и вредителей?
47. А вы знали, что если у девушки долго не было Seksa, то она ….
48. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
49. Что делать, если листья огурцов стали "Мраморные"?
50. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.