Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. К 2050 году привычная жизнь может превратиться в научную фантастику.
2. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
3. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
4. Чуть не оставила фасоль на грядке до полного высыхания.
5. После последней ягоды про клубнику легко забыть до следующей весны.
6. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
7. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
8. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
9. Сезон клубники в самом разгаре!
10. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
11. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
12. Я любовник замужней женщины.
13. Некоторые археологические открытия наше прошлое слишком странным делают.
14. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
15. Из параллельного импорта уберут западные ноутбуки.
16. В России запретят параллельный импорт компьютерной техники с 27 мая.
17. Мой личный лайфхак относительно учёбы.
18. Банановая кожура в БОРЬБЕ с муравьями.
19. Почему нужно срезать верхушки у яблонь.
20. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
21. 10 растений с белыми цветами.
22. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
23. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
24. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
25. Этой весной Россию накроет массовое нашествие комаров и клещей.
26. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
27. Toлько не забудьте peцепт!
28. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
29. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
30. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
31. Ha втopoй день ещё вкуснее.
32. Coветы для тoго, чтoбы получить крупную малину.
33. Про выращивание укропа.
34. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
35. Самый богатый бомж в мире!
36. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
37. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
38. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
39. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
40. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
41. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
42. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
43. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
44. Секрет крупного озимого чеснока - простая подкормка при посадке!
45. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
46. Недорогое средство от пятнистостей на розах.
47. Казалось бы, простая рамка для фото.
48. 5 секретов обильного урожая огурцов.
49. Как понять, что тыква созрела?
50. Не люблю отдых дальше своего города.