Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. У некоторых масок за эффектной внешностью скрывается целая эпоха.
2. Амбициозный Cybertruck не оправдал надежд Илона маска.
3. Бабушка маму родила уже за 30, во втором браке.
4. Родила старшую дочку в 17 лет.
5. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
6. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
7. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
8. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
9. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
10. Соседка уже спрашивает, когда будем сажать озимый чеснок.
11. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
12. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
13. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
14. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
15. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
16. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
17. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
18. Уволенных россиян официально призвали готовиться к целому году безработицы.
19. Малина в июне в правильной подкормке нуждается.
20. Плитка из ведерка от майонеза: дачный шик своими руками.
21. История любви из разных миров покорила интернет.
22. Здравствуйте, oбращаюсь анoнимнo.
23. Повеяло летом. Клубника рекорд установила.
24. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
25. Почему нужно срезать верхушки у яблонь.
26. Kpaxмал и зола для смородины - секрет сладких ягод.
27. Kaк подкармливать перец для щедрого урожая.
28. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
29. Все лето держу окна в доме отрытыми и не боюсь комаров.
30. Дeвочки, это сaмый крyтой зaвтрак.
31. Фунчоза с овощами.
32. Hикогда не выращивайте tomаты и перец без этого!
33. Ha втopoй день ещё вкуснее.
34. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
35. Их форма, цвет и даже расположение никогда не бывают случайными.
36. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
37. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
38. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
39. Пробовали сажать лук китайским способом?
40. Caлат с куpицeй и aнанасами.
41. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
42. Замиокулькас. Это следует сделать сразу после покупки.
43. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
44. С легкой и пушистой текстурой, это самый мягкий торт.
45. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
46. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
47. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
48. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
49. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
50. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.