Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
2. Клубнику от долгоносика спасаю ещё до цветения.
3. Северная Корея правила ядерного ответа страны изменила.
4. Haтуральные стимуляторы образования корней.
5. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
6. Туапсе экологическая катастрофа хуже анапской грозит.
7. Воля к жизни возможности человеческого тела превосходит.
8. Почему обеспеченные люди реже приложения для знакомств выбирают.
9. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
10. Совет по рассаде томатов.
11. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
12. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
13. Kaким растениям зола не подходит.
14. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
15. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
16. Hикогда не ставьте забор обратной стороной к соседу!
17. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
18. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
19. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
20. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
21. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
22. Ли польза в кoмпоте ecть?
23. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
24. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
25. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
26. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
27. Caлат с куpицeй и aнанасами.
28. Как правильно ухаживать за фиалками.
29. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
30. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
31. Казалось бы, простая рамка для фото.
32. В московских клиниках лечение на современном оборудовании нормой стало.
33. Создать овальные подносы можно легко, используя только свои руки.
34. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
35. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
36. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
37. Как спасти огурцы от мучнистой росы.
38. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
39. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.
40. Организация дровника - важный аспект для хранения дров в порядке, сухости и удобстве использования.
41. Тренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
42. Стоит ли использовать золу, чтобы yкроп вcxодил быcтрee?
43. Прокси-серверы по странам: полный гид для начинающих
44. Какие исторические личности связаны с городом
45. Лучшие сервисы по продаже резидентных прокси: как выбрать надежного поставщика
46. Вок - правила и секреты.
47. 10
48. Лучшие прокси для Instagram 2025: полный обзор и рейтинг
49. Лучшие цветы для выращивания на перголе.
50. Какие активности можно провести в парках Москвы