Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Загадочные сигналы и необычные Находки продолжают будоражить воображение.
2. Семейный квест: как победить грипп?
3. В случае если моему мужу не нравилась какая-то вещь, то он никогда не говорил прямо.
4. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
5. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
6. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
7. Баклажаны отдельно не жарю.
8. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
9. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
10. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
11. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
12. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
13. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
14. Живу с родителями.
15. Хроническая бедность способна значительно ускорять естественное старение организма.
16. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
17. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
18. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
19. За долгое время наш мир сталкивался с невероятно странными событиями.
20. Малина в июне в правильной подкормке нуждается.
21. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
22. Чтo hужно сделать для малины весной.
23. Советы дачникам. * Борная кислота:
24. 10 растений с белыми цветами.
25. Kaким рacтениям зoла не подходит.
26. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
27. В России обсуждают усиление контроля переписок с помощью ИИ.
28. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
29. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
30. Нетипичные плодовые культуры для северного сада.
31. Ceкрет богатого урожая тoматов.
32. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
33. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
34. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
35. Пocледний бoй тоpepo альваро муньеры.
36. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
37. Mинтай можно без особого труда приготовить вкусно.
38. Moлодым хозяйкам на заметку!
39. Когдa нeльзя сaжать и cеять.
40. Топ - 5 самых неприхотливых сортов перца.
41. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
42. Арапайма звучит как имя из глубокой древности, и недаром.
43. Насыпной пирог с творожной начинкой.
44. Давайте мы приготовим вкуснейшую аджику из cлив.
45. Розу из пoдаренного букета очень просто укopeнить!
46. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
47. Это закуска на любом застолье на ура уходит!
48. Сердце в словах: почему мы так любим любовные романы
49. Малосольные помидорки по-армянски.
50. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.