Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
2. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
3. Домашний интернет в России начали ограничивать для активных пользователей.
4. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
5. Джим Керри и теория клона: что произошло на самом деле?
6. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
7. Обычный лавровый лист заставит комнатные растения пышно цвести.
8. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
9. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
10. Что нужно знать о перце:
11. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
12. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
13. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
14. Ни один шашлычек у нас не обходят без этой закуски!
15. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
16. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
17. Клубника на подоконнике - аромат лета круглый год!
18. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
19. С утра иногда так хочется выпить ароматного бодрящего кофе.
20. Розу из подаренного букета очень просто укoренить!
21. Аптечка для ваших растений.
22. Что делать с кустами смородины после сбора урожая?
23. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
24. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
25. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
26. Многие популярные зубные пасты на самом деле не защищают эмаль от кариеса, несмотря на громкие обещания на упаковке.
27. Three Russian Headlines:
28. Какие исторические события отмечаются в Ижевске как городские праздники
29. Роза "Раубриттер" - это сорт чайно - гибридной розы, известный своей красивой формой и ароматом.
30. Топ-20+ Резидентные Прокси 2025: Надежные и Эффективные
31. Топ-15 мобильных прокси 2025 года: Рейтинг лучших сервисов
32. Топ-10 бесплатных прокси 2025 года: рейтинг и обзор
33. Пирамиды в момент постройки как сияющие инопланетные монолиты выглядели.
34. Как использовать дачное пространство по максимуму!
35. Полное руководство: Как покупать на Amazon в 2025 году
36. Мобильные прокси-серверы 2025: топ-15 для безопасного интернета
37. Тандыр - традиционная печь для приготовления пищи, широко использующаяся в центральной Азии и на ближнем Востоке.
38. Какова история Собора Александра Невского в Йошкар-Оле
39. Советы для получения высокого урожая картофеля.
40. Какие места лучше всего подходят для фотографий
41. Какие улицы и площади Ростова-на-Дону считаются самыми красивыми и насыщенными историей
42. Proxy-сервер: что это такое и зачем он нужен
43. Как приготовить вкусную перловку с мясом в духовке.
44. Идеальная женщина: как определить свой тип фигуры и одеваться соответственно
45. Где можно поиграть в спорт
46. Как выбрать лучшие товары для продажи на Amazon в 2025 году: полное руководство
47. Топ-30 самых прибыльных товаров для продажи на Amazon в феврале 2025 года
48. Топ-14+ лучших товаров для продажи на Amazon в 2025 году
49. Восхитительные "Печёночные Трубочки" из печеночных блинов станут настоящим украшением вашего праздничного стола!
50. Что будет, если вылить чайник кипятка на куст смородины!