Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Природа раздаёт людям особенности внешности с такой разницей в шансах, что некоторые почти невозможно встретить.
2. Регулярный дневной сон может сигнализировать о нарушениях в мозге.
3. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
4. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
5. Еда иногда преподносит Находки, после которых аппетит исчезает мгновенно.
6. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
7. В 11 лет я сломала нос.
8. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
9. Открыла вчера тыкву, а она оказалась огромной.
10. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
11. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
12. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
13. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
14. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
15. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
16. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
17. Хроническая бедность способна значительно ускорять естественное старение организма.
18. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
19. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
20. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
21. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
22. Девушка случайно Airpods вместо таблетки перед сном проглотила.
23. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
24. С 1 сентября в России планируют обновить перечень медицинских специальностей.
25. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
26. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
27. После того как рухнула советская власть, что сделали?
28. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
29. Как подкормить малину весной для крупных и сладких ягод.
30. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
31. Горсть миндаля в день может заметно улучшить состояние кожи.
32. Картофельные ростки: золотой актив, который вы зря выбрасывали!
33. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
34. Oбычный лавровый лист заставит комнатные растения пышно цвести.
35. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
36. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
37. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
38. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
39. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
40. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
41. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
42. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
43. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
44. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
45. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
46. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
47. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
48. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
49. Россиян ожидает резкое повышение тарифов на электроэнергию.
50. Пурпурная малина - настоящая Находка для вашего сада!