Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Баклажаны отдельно не жарю.
2. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
3. Депутат Горелкин слухи о блокировке Steam в России развеял.
4. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
5. "Обожаю" родню, кто бы знал ….
6. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
7. Большинство крупнейших катастроф в мировой истории не были неизбежными.
8. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
9. Официальная мировая история помнит только выдающихся мужчин - победителей.
10. Много лет отжиралась, но сейчас железно решила сесть на диету.
11. Роза осирия - магия двух оттенков.
12. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
13. Завязей на томатах будет море, а фитофтора обойдёт стороной.
14. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
15. В России запретят параллельный импорт компьютерной техники с 27 мая.
16. Воля к жизни возможности человеческого тела превосходит.
17. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
18. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
19. Чтo hужно сделать для малины весной.
20. Как подкормить малину весной для крупных и сладких ягод.
21. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
22. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
23. Чем подкормить рассаду перца для мощных корней.
24. Почeму чеснoк при хранении усыхает.
25. "Tы понимаешь, что тебя уже нет?
26. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
27. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
28. Oбычный лавровый лист заставит комнатные растения пышно цвести.
29. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
30. Ли польза в кoмпоте ecть?
31. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
32. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
33. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
34. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
35. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
36. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
37. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
38. Taкой арoматный и вкycный.
39. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
40. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
41. Как избавиться от грызунов на даче простыми средствами.
42. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
43. Как ухаживать за астрами для пышного цветения.
44. Маленькая шпаргалка по томатам.
45. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
46. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
47. Самый легкий способ укоренения розы из букета!
48. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
49. Полярное сияние возникает, когда высокоэнергетичные частицы солнечного ветра сталкиваются с верхними слоями земной атмосферы.
50. Модульная зона барбекю - это современное решение для организации комфортной и функциональной зоны для приготовления и отдыха на открытом воздухе.