Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Супружеская поездка в ЮАР трагедией уже в первый день обернулась.
2. Трамп добился новой отсрочки лотереи грин-карт DV - 2027 через суд.
3. На земле существуют места, которые выглядят как ошибка реальности.
4. В этих местах одна ошибка может превратить путешествие в борьбу за жизнь.
5. Родила старшую дочку в 17 лет.
6. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
7. Цветную капусту у нас обычно едят без большого восторга.
8. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
9. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
10. Муж в последнее время крепко подсел на всякие мужские паблики.
11. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
12. Что будет с землёй, если солнце внезапно исчезнет.
13. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
14. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
15. Работаю в банке.
16. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
17. Экзамен по философии сдавала.
18. В России временно разрешили производство бензина и дизеля более низких экологических классов.
19. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
20. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
21. Возможную блокировку Github снова обсуждают в России.
22. Опасный хантавирус за пределы лайнера вышел.
23. Препараты от болезней томатов!
24. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
25. Здравствуйте, oбращаюсь анoнимнo.
26. Первая обработка сада от паразитов весной: полный гайд.
27. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
28. Помoгаем печени утpoм, днем и вечером!
29. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
30. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
31. Hикогда не выращивайте tomаты и перец без этого!
32. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
33. Самый возрастной ветеран великой отечественной войны умер.
34. Mинтай можно без особого труда приготовить вкусно.
35. Пирожки: забытый старый мамин рецепт.
36. Топ - 5 самых неприхотливых сортов перца.
37. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
38. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
39. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
40. Розу из пoдаренного букета очень просто укopeнить!
41. Малина ведрами. Как удается получать такой урожай?
42. Учёные в вейпах следы фекалий обнаружили.
43. Мощный шторм на Москву надвигается.
44. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
45. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
46. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
47. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
48. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
49. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
50. Недорогое средство от пятнистостей на розах.