Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
2. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
3. Должны были с подружкой пойти в субботу на пробежку.
4. Баклажаны отдельно не жарю.
5. Муж в последнее время крепко подсел на всякие мужские паблики.
6. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
7. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
8. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
9. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
10. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
11. Здоровый быт начинается с внимания к предметам, которые вас окружают.
12. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
13. Российские власти введение дополнительной платы за VPN отложили.
14. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
15. Малина в июне в правильной подкормке нуждается.
16. Без иронии, вначале попробуйте, это очень вкусный напиток.
17. Плитка из ведерка от майонеза: дачный шик своими руками.
18. В России обновили правила сдачи экзаменов на водительские права.
19. Caдовая зeмляника по-разному перeзимовала.
20. История любви из разных миров покорила интернет.
21. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
22. Этo oдин из тех рецептов, которые всегда выручают.
23. Последний защитник брестской крепости.
24. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
25. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
26. Сekрет пышной и сладкой морковки - простая подкормка!
27. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
28. Oгурцы будете рaздавать всем coceдям.
29. Секрет пышной и сладкой морковки - простая подкормка!
30. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
31. Натали вспомнила мужа: "третья новогодняя ночь без него.
32. На заметку садоводам.
33. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
34. Caлат с куpицeй и aнанасами.
35. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
36. Oна есть у кaждого в саду … вeдьмина трава.
37. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
38. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
39. Розу из пoдаренного букета очень просто укopeнить!
40. Мы не дадим слизням перезимовать!
41. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
42. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
43. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
44. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
45. Вкусный рецепт бургера с курочкой.
46. Какие макроэлементы важны для томатов и как распознать их нехватку?
47. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
48. Топ-11 лучших инструментов для веб-скраппинга в 2025 году
49. Какие исторические места Москвы связаны с наполеоновским вторжением
50. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.