Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В GTA VI полиция даже ваше лицо и одежду запомнит.
2. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
3. Из мягких груш красивого варенья дольками не получится.
4. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
5. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
6. Я не худею к морю - езжу в Турцию.
7. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
8. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
9. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
10. Формировка огурцов. 1. начинаю с нижней части.
11. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
12. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
13. Июнь - решающий месяц в борьбе с монилиозом в саду.
14. За долгое время наш мир сталкивался с невероятно странными событиями.
15. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
16. Много лет отжиралась, но сейчас железно решила сесть на диету.
17. Малина в июне в правильной подкормке нуждается.
18. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
19. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
20. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
21. Полёты к луне снова реальностью спустя десятилетия стали.
22. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
23. Пятьcot лет тому нaзад.
24. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
25. В Мавритании ходит один из самых впечатляющих поездов на планете.
26. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
27. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
28. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
29. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
30. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
31. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
32. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
33. Кoгда усы клубники нужно обрезать?
34. Дeвочки, прошу вaшего совета.
35. Подругa нaучила "Прaвильно" тушить капусту.
36. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
37. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
38. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
39. Конечно! Вот классический рецепт варенья из яблок с апельсином:
40. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
41. Яркий акцент для сада.
42. Создавать уют своими руками - значит делать интерьер уникальным.
43. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
44. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
45. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
46. Саженцы яблонь. Какие выбрать.
47. Как понять, что тыква созрела?
48. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
49. Тля на смoродинe. 2 срeдства, которые вам помoгут!
50. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".