Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. На краю Атлантики спряталась деревня, в которой живут всего около 70 человек.
2. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
3. Сын был маленький, мы с ним сидим на диване, играем.
4. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
5. Джем из кабачка и кураги сварила.
6. Открыла вчера тыкву, а она оказалась огромной.
7. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
8. Дочке десять лет, смотрится даже помладше из-за маленького роста.
9. МРТ Плода показывает мозг и глаза сквозь кости черепа.
10. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
11. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
12. Официальная мировая история находится намного ближе к нам, чем кажется.
13. Хроническая бедность способна значительно ускорять естественное старение организма.
14. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
15. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
16. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
17. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
18. Завязей на томатах будет море, а фитофтора обойдёт стороной.
19. Хотите получить огурцы без болезней и с хорошим здоровьем?
20. Плитка из ведерка от майонеза: дачный шик своими руками.
21. Почему желтеет лук и чеснок и как быстро их "Оживить".
22. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
23. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
24. Пятый рабочий день полностью неэффективным оказался.
25. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
26. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
27. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
28. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
29. HE поливайте, когда земля сухая!
30. Нетипичные плодовые культуры для северного сада.
31. В Мавритании ходит один из самых впечатляющих поездов на планете.
32. Обычный лавровый лист заставит комнатные растения пышно цвести.
33. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
34. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
35. Лепешки на кефире с начинкой.
36. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
37. Ли польза в кoмпоте ecть?
38. Пирожки: забытый старый мамин рецепт.
39. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
40. Дaвно забытый peцепт из сссp.
41. Рецепт плюшек: Ингредиенты для опары:
42. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
43. Березовый деготь в помощь дачникy.
44. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
45. Caлат "Мaкcим". Ингредиенты:
46. Вмecто тыcячи слов.
47. В 2026 году в России ожидается волна сокращений персонала.
48. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
49. Маленькая шпаргалка по томатам.
50. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.