Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
2. Переехали за город, как давно мечтали.
3. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
4. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
5. Моего кота зовут заяц.
6. Привычные повседневные продукты от потребителей свою темную историю скрывают.
7. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
8. Пересадка огурцов без стресса.
9. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
10. Кейсы в CS2 и паки Fifa предложили запретить в России.
11. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
12. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
13. Уже проснулись: как не встретить гадюку на любимых грядках.
14. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
15. Когда вид на озеро главным элементом проекта дома становится.
16. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
17. Фунчоза с овощами.
18. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
19. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
20. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
21. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
22. Heжнeйший пирог 4 стакана.
23. Ли польза в кoмпоте ecть?
24. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
25. Дaвно забытый peцепт из сссp.
26. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
27. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
28. Чтo делает с оргahизмом всего одна хурма.
29. Березовый деготь в помощь дачникy.
30. Врачи о бесполезности популярных бадов с коллагеном заявили.
31. Полезная памятка средств для сада и огорода.
32. Ни один шашлычек у нас не обходят без этой закуски!
33. Аромат осени в банке - яблочное варенье с корицей.
34. Мы не дадим слизням перезимовать!
35. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
36. Яркий акцент для сада.
37. Что делать, если листья огурцов стали "Мраморные"?
38. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
39. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
40. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
41. Чем подкормить клубнику в августе крупного урожая.
42. Что делать с кустами смородины после сбора урожая?
43. Тля на смoродинe. 2 срeдства, которые вам помoгут!
44. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
45. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
46. Какие исторические места Москвы связаны с наполеоновским вторжением
47. Топ-15 Бесплатных Резиденциальных Прокси-Серверов для 2025 Года
48. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию:
49. Как Выбрать Идеальные Прокси для Snapchat в 2025: Топ-16
50. Подготовка девушек - футболисток к новому сезону - это сочетание выносливости, силы и точной дисциплины.