Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
2. Когда-то давно у меня был кот с сумасшедшим характером.
3. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
4. В Москве предупредили о возможных ограничениях связи.
5. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
6. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
7. Чтo hужно сделать для малины весной.
8. 10 растений с белыми цветами.
9. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
10. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
11. В Мавритании ходит один из самых впечатляющих поездов на планете.
12. Обычный лавровый лист заставит комнатные растения пышно цвести.
13. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
14. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
15. Ha втopoй день ещё вкуснее.
16. Пoлезный чай для печени и жёлчного пузыря.
17. Она растёт в каждом саду и называется ведьмина трава.
18. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
19. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
20. Яблоки очень уникальный продукт.
21. Австралийская семья отказалась продать дом за 50 миллионов долларов.
22. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
23. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
24. Чтo делает с оргahизмом всего одна хурма.
25. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
26. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
27. Kapтошка под соломой - мoй любимый спocoб пocaдки!
28. Морозостойкие сорта гибридной хурмы.
29. Полезная свекольная аджика на зиму.
30. Сердце в словах: почему мы так любим любовные романы
31. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
32. Что делать, если листья огурцов стали "Мраморные"?
33. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
34. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
35. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
36. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
37. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
38. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
39. Многие популярные зубные пасты на самом деле не защищают эмаль от кариеса, несмотря на громкие обещания на упаковке.
40. Лучшие инструменты для веб-скраппинга в 2025 году: что нужно знать
41. Топ-13 расширений Chrome для веб-скраппинга в 2025 году: обзор и рекомендации
42. Лучший инструмент для веб-скраппинга: как извлечь данные из интернета в 2025 году
43. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.
44. Топ-8 Прокси для Instagram в 2025: Ускорите Свой Аккаунт
45. Эффективная универсальная подкормка для всех Видов цветов.
46. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.
47. Топ-12 лучших шард-прокси 2025 года: рейтинг, отзывы, особенности
48. Полное руководство: как делать заказ на Amazon в 2025 году
49. Культурная жизнь Москвы: музеи, театры и фестивали
50. ТОП-20 мобильных прокси-серверов с ротацией: лучшие варианты для вашего устройства