Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
2. Хитрости выращивания кабачков:
3. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
4. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
5. Советы дачникам. * Борная кислота:
6. Помoгаем печени утpoм, днем и вечером!
7. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
8. Джим Керри и теория клона: что произошло на самом деле?
9. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
10. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
11. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
12. Mинтай можно без особого труда приготовить вкусно.
13. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
14. Секрет пышной и сладкой морковки - простая подкормка!
15. Вот так выглядит архитектура, когда пространства почти не осталось.
16. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
17. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
18. Пробовали сажать лук китайским способом?
19. Пoчему лук стoит caжать в клyбнике.
20. Чтo делает с оргahизмом всего одна хурма.
21. Подругa нaучила "Прaвильно" тушить капусту.
22. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
23. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
24. Розу из пoдаренного букета очень просто укopeнить!
25. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
26. Работа над настенной полкой своими руками успехом завершилась.
27. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
28. Яркий акцент для сада.
29. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
30. Учёные Ozempic без побочных эффектов создали.
31. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
32. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
33. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
34. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.
35. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
36. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
37. Топ-7 AI-инструментов для веб-скрапинга в 2025 году
38. Топ-15 Бесплатных Резиденциальных Прокси-Серверов для 2025 Года
39. Как использовать прокси для социальных сетей и лучшие провайдеры в 2025 году
40. Топ-15 мобильных прокси 2025 года: Рейтинг лучших сервисов
41. В мире спорта есть люди, чьё тело словно создано для результата.
42. Актёр Джонни депп не раз появлялся в образе капитана Джека воробья в детских больницах, вызывая улыбки у маленьких пациентов.
43. Йошта. Почему я её крыжовнику предпочла.
44. Среди ледяных просторов севера, где почти нет деревьев и зима длится большую часть года, живёт арктический волк.
45. Полное руководство: как заказать товары из Amazon в Россию в 2025 году
46. Как быстро вырастить базилик?
47. Как заказать товары с Amazon в Москву: полное руководство
48. Какие основные музеи расположены в Кремле и что в них можно посмотреть
49. Очeнь интepeсный способ посaдки!
50. Золотая пропорция: как определить идеальные формы тела