Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Здоровый быт начинается с внимания к предметам, которые вас окружают.
2. Российские власти введение дополнительной платы за VPN отложили.
3. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
4. В Москве предупредили о возможных ограничениях связи.
5. В России запретят параллельный импорт компьютерной техники с 27 мая.
6. Цветы для ленивого сада: посадил и забыл на все лето.
7. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
8. Повеяло летом. Клубника рекорд установила.
9. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
10. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
11. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
12. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
13. Мне 19 лет.
14. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
15. Сekрет пышной и сладкой морковки - простая подкормка!
16. В Мавритании ходит один из самых впечатляющих поездов на планете.
17. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
18. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
19. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
20. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
21. Coветы для тoго, чтoбы получить крупную малину.
22. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
23. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
24. Пoчему лук стoит caжать в клyбнике.
25. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
26. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
27. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
28. Это лучшее, что я когда-либо ела!
29. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
30. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
31. Секрет крупного озимого чеснока - простая подкормка при посадке!
32. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
33. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
34. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
35. Пергола - это не просто арка или навес.
36. Калина с медом.
37. Что делать с кустами смородины после сбора урожая?
38. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
39. Банановая кожура - природное удобрение для огорода.
40. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.
41. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
42. Лучший инструмент для скрапинга сайтов в 2025 году
43. Топ-7 инструментов для веб-скраппинга в 2025 году: что выбрать
44. Ренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
45. Топ-15 Бесплатных Резиденциальных Прокси-Серверов для 2025 Года
46. Тренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
47. Йошта. Почему я её крыжовнику предпочла.
48. Бесплатные прокси-серверы высокой скорости: полный список
49. ТОП-15 популярных прокси-серверов 2025: рейтинг лучших решений для анонимности и безопасности
50. Тандыр - традиционная печь для приготовления пищи, широко использующаяся в центральной Азии и на ближнем Востоке.