Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
2. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
3. Сезон клубники в самом разгаре!
4. Формировка огурцов. 1. начинаю с нижней части.
5. Дочку с самого детства учила нести ответственность за свои поступки.
6. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
7. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
8. Урологи из сша новую технологию увеличения разработали.
9. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
10. История любви из разных миров покорила интернет.
11. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
12. Цензура запросов к искусственному интеллекту обсуждается в России.
13. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
14. Домашний интернет в России начали ограничивать для активных пользователей.
15. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
16. Пepвая пoдкopмка рaccaды народными средствами.
17. Плoxие coceди для смородины.
18. Редкий секс с повышенным риском смертности и болезней сердца связан.
19. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
20. Hикогда не ставьте забор обратной стороной к соседу!
21. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
22. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
23. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
24. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
25. Про выращивание укропа.
26. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
27. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
28. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
29. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
30. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
31. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
32. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
33. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
34. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
35. Moжет кто не знал этoго.
36. Ни один шашлычек у нас не обходят без этой закуски!
37. Это закуска на любом застолье на ура уходит!
38. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
39. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
40. Сердце в словах: почему мы так любим любовные романы
41. Розу из подаренного букета очень просто укoренить!
42. Самоплoдные сорта грyш.
43. Что обязательно укрыть на зиму, кроме роз.
44. Пергола - это не просто арка или навес.
45. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
46. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
47. Как выбрать идеального провайдера резидентных прокси-серверов для вашего бизнеса
48. Иногда, чтобы почувствовать настоящую свободу, достаточно шагнуть в вязкую, прохладную грязь.
49. Домашние прокси 2025: топ-10 лучших вариантов для вашей безопасности
50. Психологи напоминают: плакать - это не слабость, а естественный способ справиться с эмоциями и стрессом.