Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Новенькие Iphone Duo начали ломаться прямо на глазах покупателей.
2. Вселенную ждёт будущее, в котором погаснут даже самые яркие звёзды.
3. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
4. Еда иногда преподносит Находки, после которых аппетит исчезает мгновенно.
5. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
6. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
7. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
8. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
9. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
10. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
11. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
12. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
13. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
14. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
15. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
16. Хроническая бедность способна значительно ускорять естественное старение организма.
17. Средства для подкормки помидоров.
18. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
19. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
20. Роза осирия - магия двух оттенков.
21. Северная Корея правила ядерного ответа страны изменила.
22. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
23. В России обновили правила сдачи экзаменов на водительские права.
24. Опилки на грядках: бесплатное золото или яд для урожая?
25. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
26. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
27. Полёты к луне снова реальностью спустя десятилетия стали.
28. Уже проснулись: как не встретить гадюку на любимых грядках.
29. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
30. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
31. Cвeжий укроп всегда под рукoй.
32. Обычный лавровый лист заставит комнатные растения пышно цвести.
33. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
34. Сыплю под Смородину весной по две ложки.
35. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
36. Нашатырь можно как хорошую подкормку для лука использовать.
37. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
38. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
39. Рецепт плюшек: Ингредиенты для опары:
40. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
41. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
42. С легкой и пушистой текстурой, это самый мягкий торт.
43. Kapтошка под соломой - мoй любимый спocoб пocaдки!
44. Moжет кто не знал этoго.
45. Малина ведрами. Как удается получать такой урожай?
46. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
47. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
48. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
49. Создать овальные подносы можно легко, используя только свои руки.
50. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.