Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
2. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
3. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
4. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
5. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
6. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
7. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
8. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
9. Цветы на томатах есть, а завязи нет: что я делаю в жару.
10. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
11. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
12. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
13. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
14. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
15. Работаю в банке.
16. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
17. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
18. Добрый день! Вдруг кто с подобным … сталкивался.
19. Сервис такси Bolt уволил всех кадровиков ради эффективности.
20. Некоторые археологические открытия наше прошлое слишком странным делают.
21. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
22. С 1 сентября в России планируют обновить перечень медицинских специальностей.
23. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
24. Архивные фото Ирины шейк из юности.
25. История любви из разных миров покорила интернет.
26. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
27. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
28. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
29. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
30. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
31. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
32. Рецепт меренгового рулета.
33. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
34. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
35. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
36. Пиpoжки: зaбытый стapый мaмин рeцепт.
37. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
38. Coветы для тoго, чтoбы получить крупную малину.
39. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
40. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
41. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
42. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
43. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
44. Kapтошка под соломой - мoй любимый спocoб пocaдки!
45. В 2026 году в России ожидается волна сокращений персонала.
46. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
47. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
48. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
49. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
50. Красивые садовые дорожки своими руками.