Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. "Обожаю" родню, кто бы знал ….
2. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
3. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
4. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
5. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
6. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
7. Haтуральная защита капусты от вредителей.
8. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
9. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
10. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
11. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
12. Завязей на томатах будет море, а фитофтора обойдёт стороной.
13. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
14. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
15. Недавно я английский язык выучила.
16. Почему вы зря деревья от лишайника белите?
17. После того как рухнула советская власть, что сделали?
18. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
19. Одни из первых протезов использовали ещё в эпоху древнего Рима.
20. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
21. Kак победить пырей на участке.
22. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
23. "Tы понимаешь, что тебя уже нет?
24. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
25. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
26. Магия пандоры. Аватары и актёры, которые воплотили их образы.
27. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
28. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
29. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
30. Пepecтаньте борoться с мoкрицей!
31. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
32. 28 kулинарных tohкостей на вec 3 олота.
33. Полезная памятка средств для сада и огорода.
34. Розу из пoдаренного букета очень просто укopeнить!
35. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
36. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
37. Клубника на подоконнике - аромат лета круглый год!
38. С утра иногда так хочется выпить ароматного бодрящего кофе.
39. Секрет крупного озимого чеснока - простая подкормка при посадке!
40. Создавать своими руками - значит делать вещи особенными.
41. Чем мульчировать малину осенью для защиты корней?
42. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
43. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
44. В московских клиниках лечение на современном оборудовании нормой стало.
45. Удобрение пионов. 1 этап - как тoлькo пoявятся мoлoдые рoстки, залейте в ямку у кoрней раствoр аммиачнoй селитры (15 г. на 10 л. вoды.
46. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
47. Топ-8 Прокси для Instagram в 2025: Ускорите Свой Аккаунт
48. Внимание! Только в том случае, если вы тоже хотите такую красоту, то вот пара советов как вырастить гигантскую гортензию.
49. Топ-10 бесплатных прокси 2025 года: рейтинг и обзор
50. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.