Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
2. Современный гейминг оказался исключительно полезен для человеческой психики.
3. Дочку с самого детства учила нести ответственность за свои поступки.
4. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
5. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
6. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
7. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
8. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
9. Нарциссизм всё чаще связывают именно с генетикой.
10. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
11. В России обновили правила сдачи экзаменов на водительские права.
12. Как буддийские монахи вышли на протест и столкнулись с полицией.
13. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
14. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
15. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
16. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
17. Пятьcot лет тому нaзад.
18. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
19. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
20. Дочь марии Шукшиной раскрыла боль семейных отношений.
21. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
22. Пepecтаньте борoться с мoкрицей!
23. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
24. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
25. Moжет кто не знал этoго.
26. В 2026 году в России ожидается волна сокращений персонала.
27. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
28. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
29. Нашим любимым подписчикам, дачникам и садоводам на заметку.
30. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
31. Секс помогает улучшать память - к такому выводу пришли американские учёные.
32. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
33. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
34. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
35. Мы готовим малинник к следующему сезону правильно!
36. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
37. Какие макроэлементы важны для томатов и как распознать их нехватку?
38. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
39. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать
40. Лучшие инструменты для веб-скраппинга в 2025 году: что нужно знать
41. Топ-10 бесплатных инструментов для веб-скраппинга: извлечение данных стало проще
42. Лучшие бесплатные веб-скрейперы 2025 года: простота и эффективность в одном
43. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.
44. Топ-12 прокси для Minecraft 2025: играйте без лагов и наслаждайтесь гладкой игрой
45. Внимание! Только в том случае, если вы тоже хотите такую красоту, то вот пара советов как вырастить гигантскую гортензию.
46. Лучшие прокси для социальных сетей 2025: полное руководство
47. Надежный список прокси: обновление каждый день
48. Бесплатные прокси-серверы высокой скорости: полный список
49. Мы исправляем вытянувшуюся рассаду.
50. Как использовать дачное пространство по максимуму!