Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
2. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
3. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
4. Я любовник замужней женщины.
5. Привычные повседневные продукты от потребителей свою темную историю скрывают.
6. В Москве предупредили о возможных ограничениях связи.
7. Препараты от болезней томатов!
8. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
9. Как буддийские монахи вышли на протест и столкнулись с полицией.
10. 1941 год. Украина, первые месяцы оккупации.
11. HE поливайте, когда земля сухая!
12. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
13. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
14. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
15. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
16. Рецепт меренгового рулета.
17. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
18. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
19. Секрет пышной и сладкой морковки - простая подкормка!
20. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
21. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
22. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
23. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
24. Вкусный и ароматный салат "Парамониха" из свежих овощей.
25. Полезная памятка средств для сада и огорода.
26. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
27. Лучший способ хранения чеснока.
28. Россиян ожидает резкое повышение тарифов на электроэнергию.
29. Мы не дадим слизням перезимовать!
30. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
31. Создавать своими руками - значит делать вещи особенными.
32. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
33. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
34. Срывать недозрелые плоды или ждать полной зрелости?
35. Создать овальные подносы можно легко, используя только свои руки.
36. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
37. Калина с медом.
38. Как понять, что тыква созрела?
39. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
40. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
41. Как спасти огурцы от мучнистой росы.
42. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
43. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
44. Знаете, зачем завязывают ботву чеснока в узел?
45. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
46. Топ-7 AI-инструментов для веб-скрапинга в 2025 году
47. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.
48. Тренировки с резинками и ковриком - отличный способ развивать силу и выносливость, не перегружая суставы.
49. Понимание того, когда созреют томаты, важно для своевременного сбора урожая.
50. Какие музеи наиболее популярны среди туристов