Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Загадочные сигналы и необычные Находки продолжают будоражить воображение.
2. В 16 лет на свадьбе дяди узнала от подпитой родственницы о том, что я приемная.
3. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
4. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
5. Сын был маленький, мы с ним сидим на диване, играем.
6. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
7. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
8. Чуть не оставила фасоль на грядке до полного высыхания.
9. В 11 лет я сломала нос.
10. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
11. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
12. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
13. Всю жизнь терпеть не могу своё имя - Валентина.
14. Американец с самым крошечным пенисом в мире на увеличение пошёл.
15. У моего отца дочь от первого брака была.
16. Думаю, моя мама не человек.
17. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
18. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
19. Сезон клубники в самом разгаре!
20. Средства для подкормки помидоров.
21. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
22. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
23. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
24. Клубнику от долгоносика спасаю ещё до цветения.
25. Плитка из ведерка от майонеза: дачный шик своими руками.
26. Препараты от болезней томатов!
27. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
28. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
29. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
30. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
31. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
32. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
33. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
34. Coветы для тoго, чтoбы получить крупную малину.
35. Секрет пышной и сладкой морковки - простая подкормка!
36. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
37. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
38. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
39. И еxaть никуда не нaдо.
40. Вкусный и ароматный салат "Парамониха" из свежих овощей.
41. Маринованные помидоры. Предлагаю рецепт помидорчиков.
42. Лучший способ хранения чеснока.
43. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
44. Мы не дадим слизням перезимовать!
45. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
46. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
47. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
48. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
49. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
50. Чем мульчировать малину осенью для защиты корней?