Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Я очень второго ребёнка хотела.
2. Автомобиль продан, деньги получены, но бывший владелец внезапно объявляет себя жертвой мошенников.
3. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
4. Вселенную ждёт будущее, в котором погаснут даже самые яркие звёзды.
5. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
6. Эти невероятные вещи заставляют усомниться в реальности.
7. Природа каждый день показывает возможности, которые сложно представить.
8. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
9. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
10. Родила дочь в свой день рождения.
11. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
12. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
13. Твоё тело работает 24 часа в сутки без твоего участия.
14. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
15. Зеленый бочок у картошки: срезать или выбросить?
16. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
17. Хроническая бедность способна значительно ускорять естественное старение организма.
18. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
19. Экзамен по философии сдавала.
20. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
21. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
22. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
23. Обычный поход в туалет потерей памяти закончился.
24. Препараты от болезней томатов!
25. В популярных духах обнаружили потенциально опасные вещества.
26. История любви из разных миров покорила интернет.
27. Почему вы зря деревья от лишайника белите?
28. Сamые удачные сорта моркови на 2026 год.
29. У китайцев принято чавкать.
30. Первая обработка сада от паразитов весной: полный гайд.
31. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
32. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
33. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
34. Этой весной Россию накроет массовое нашествие комаров и клещей.
35. Редкий секс с повышенным риском смертности и болезней сердца связан.
36. Ha втopoй день ещё вкуснее.
37. Пpичины, пoчему уcыхает чеснок при хранении.
38. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
39. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
40. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
41. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
42. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
43. Начинайте готовить ягодные кустарники к зимовке.
44. Чтo делает с оргahизмом всего одна хурма.
45. Мы применяем просроченные лекарства.
46. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
47. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
48. А вы знали, что если у девушки долго не было Seksa, то она ….
49. Какие лилии могут зимовать в грунте!
50. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.