Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
2. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
3. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
4. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
5. С мужем вместе уже 10 лет.
6. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
7. После последней ягоды про клубнику легко забыть до следующей весны.
8. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
9. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
10. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
11. Зеленый бочок у картошки: срезать или выбросить?
12. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
13. Серая гниль на розах - гадость мерзостная.
14. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
15. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
16. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
17. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
18. Чем пoдкормить тoматы во время цветения для богатого урожая.
19. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
20. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
21. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
22. Сервис такси Bolt уволил всех кадровиков ради эффективности.
23. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
24. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
25. Мой личный лайфхак относительно учёбы.
26. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
27. Натуральные стимуляторы образования корней.
28. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
29. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
30. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
31. Мне 19 лет.
32. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
33. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
34. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
35. Никогда не выращивайте томаты и перец без этого!
36. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
37. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
38. Сыплю под Смородину весной по две ложки.
39. Mинтай можно без особого труда приготовить вкусно.
40. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
41. Как заставить замиокулькас активно выпускать новые побеги.
42. На заметку садоводам.
43. Арапайма звучит как имя из глубокой древности, и недаром.
44. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
45. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
46. Это закуска на любом застолье на ура уходит!
47. Мощный шторм на Москву надвигается.
48. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
49. В московских клиниках лечение на современном оборудовании нормой стало.
50. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.