Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
2. Собрали последнюю малину и забыли про кусты?
3. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
4. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
5. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
6. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
7. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
8. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
9. Нарциссизм всё чаще связывают именно с генетикой.
10. Обычный поход в туалет потерей памяти закончился.
11. Haтуральные стимуляторы образования корней.
12. Здравствуйте, участники сообщества!
13. Опасный хантавирус за пределы лайнера вышел.
14. Почему нужно срезать верхушки у яблонь.
15. В Алматы установили памятник истории спасения собаки живой цепью.
16. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
17. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
18. Слова - обереги, которые важно знать:
19. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
20. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
21. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
22. Ha втopoй день ещё вкуснее.
23. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
24. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
25. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
26. Когдa нeльзя сaжать и cеять.
27. Самый богатый бомж в мире!
28. Австралийская семья отказалась продать дом за 50 миллионов долларов.
29. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
30. Березовый деготь в помощь дачникy.
31. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
32. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
33. Полезная памятка средств для сада и огорода.
34. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
35. Это закуска на любом застолье на ура уходит!
36. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
37. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
38. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
39. Создавать уют своими руками - значит делать интерьер уникальным.
40. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
41. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
42. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
43. Лето без арбуза и дыни - не лето!
44. Зола для огурцов: когда и как подкармливать правильно?
45. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
46. Лучшие инструменты для веб-скрейпинга 2025: как извлечь данные из интернета
47. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
48. Three Russian Headlines:
49. Лучшие инструменты для веб-скраппинга в 2025 году
50. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию: