Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В Афганистане некоторые девочки получают свободу, только став "Мальчиками".
2. Один и тот же мир может выглядеть совершенно по-разному для каждого человека.
3. Психологи связь депрессии с состоянием близкого окружения изучили.
4. Австралия остаётся единственным континентом, где природа пытается тебя убить.
5. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
6. Один взлом может превратить умный пояс верности в настоящий замок.
7. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
8. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
9. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
10. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
11. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
12. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
13. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
14. Клубника отплодоносила, но бросать её до весны нельзя.
15. Из одного кочана делаю целую сковороду капустных шницелей.
16. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
17. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
18. "Обожаю" родню, кто бы знал ….
19. Мне 37, молодая и здоровая была, но за год постарела.
20. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
21. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
22. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
23. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
24. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
25. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
26. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
27. Обычные прогулки мощной поддержкой для организма оказались.
28. Сон при свете повышает риск ожирения.
29. Туапсе экологическая катастрофа хуже анапской грозит.
30. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
31. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
32. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
33. Kpaxмал и зола для смородины - секрет сладких ягод.
34. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
35. Toлько не забудьте peцепт!
36. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
37. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
38. Лепешки на кефире с начинкой.
39. Секрет пышной и сладкой морковки - простая подкормка!
40. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
41. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
42. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
43. И еxaть никуда не нaдо.
44. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
45. Морозостойкие сорта гибридной хурмы.
46. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
47. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
48. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
49. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
50. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.