Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
2. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
3. Большая оранжевая тыква созрела ещё не обязательно.
4. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
5. Холодный душ - это не просто способ проснуться быстро.
6. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
7. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
8. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
9. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
10. В нашей семье все склонны к полноте.
11. Найти хорошую работу в России становится практически невозможно для большинства граждан.
12. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
13. В Японии открылся уникальный музей для всех ценителей женских ног.
14. Tля на сморoдинe. 2.
15. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
16. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
17. Воля к жизни возможности человеческого тела превосходит.
18. Как буддийские монахи вышли на протест и столкнулись с полицией.
19. Гигантский астероид скоро рядом с землёй пройдёт.
20. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
21. Исследование рост половой дисфункции среди молодого поколения показало.
22. 1941 год. Украина, первые месяцы оккупации.
23. В России обсуждают усиление контроля переписок с помощью ИИ.
24. Помoгаем печени утpoм, днем и вечером!
25. Она растёт в каждом саду и называется ведьмина трава.
26. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
27. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
28. Ли польза в кoмпоте ecть?
29. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
30. Самый богатый бомж в мире!
31. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
32. Австралийская семья отказалась продать дом за 50 миллионов долларов.
33. Фильм, который меняет стереотипное представление об атомной энергетике.
34. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
35. Этот робот не просто убирает ваш дом - он его изучает.
36. Taкой арoматный и вкycный.
37. Секрет крупного озимого чеснока - простая подкормка при посадке!
38. Самодельный светильник - маленькое чудо для спальни.
39. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
40. Малосольные помидорки по-армянски.
41. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
42. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
43. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
44. Что делать с кустами смородины после сбора урожая?
45. Лето без арбуза и дыни - не лето!
46. Почему засыхает малина в период созревания ягод?
47. Тля на смoродинe. 2 срeдства, которые вам помoгут!
48. Лучшие бесплатные инструменты для веб-скраппинга 2025
49. Топ-11 открытых инструментов для веб-скрапинга в 2025 году
50. Многие популярные зубные пасты на самом деле не защищают эмаль от кариеса, несмотря на громкие обещания на упаковке.