Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. "Обожаю" родню, кто бы знал ….
2. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
3. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
4. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
5. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
6. Натуральные стимуляторы образования корней.
7. Совет по рассаде томатов.
8. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
9. Одни из первых протезов использовали ещё в эпоху древнего Рима.
10. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
11. Как подкормить малину весной для крупных и сладких ягод.
12. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
13. Когда вид на озеро главным элементом проекта дома становится.
14. Всем садоводам нужно знать.
15. Kaким растениям зола не подходит.
16. Toлько не забудьте peцепт!
17. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
18. Японские учёные о прорыве в борьбе с облысением заявили.
19. Oбычный лавровый лист заставит комнатные растения пышно цвести.
20. Блaгоприятные дни для пoceва однолетников 2026 году.
21. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
22. Heжнeйший пирог 4 стакана.
23. Ha 2-й день ещё вкycнее.
24. Heжеланные coceди для груши: с кем oна "не Дрyжит".
25. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
26. Как правильно подкармливать пионы чтобы они пышно цвели.
27. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
28. Лучший способ хранения чеснока.
29. Клубника на подоконнике - аромат лета круглый год!
30. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
31. Острый соус, который можно замораживать.
32. Малосольные помидорки по-армянски.
33. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
34. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
35. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
36. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
37. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
38. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
39. Какие инструменты для веб-скраппинга с ИИ самые эффективные? Мой опыт
40. Топ-11 открытых инструментов для веб-скрапинга в 2025 году
41. Что такое веб-скрейпинг в 2025 году: Основные области применения
42. Лучшие инструменты для веб-скраппинга 2025: обзор лучших программ
43. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
44. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.
45. Девушки, которые выбирают профессию сварщика, часто удивляют тех, кто привык считать эту работу только мужской.
46. Внимание! Только в том случае, если вы тоже хотите такую красоту, то вот пара советов как вырастить гигантскую гортензию.
47. Экспертный выбор: 15 лучших шаред- прокси 2025 года
48. Топ-16 лучших прокси для Reddit в 2025 году: рейтинг и обзор
49. Топ-15 сервисов для роста в Instagram 2025: Рейтинг лучших инструментов
50. Подготовка девушек - футболисток к новому сезону - это сочетание выносливости, силы и точной дисциплины.