Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Мой муж никогда не уходит с работы.
2. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
3. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
4. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
5. МРТ Плода показывает мозг и глаза сквозь кости черепа.
6. Яблок много - вроде радоваться надо.
7. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
8. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
9. В нашей семье все склонны к полноте.
10. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
11. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
12. Haтуральная защита капусты от вредителей.
13. Дочку с самого детства учила нести ответственность за свои поступки.
14. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
15. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
16. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
17. Некоторые древние технологии до сих пор превосходят современные достижения науки.
18. С 1 сентября в России планируют обновить перечень медицинских специальностей.
19. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
20. Из параллельного импорта уберут западные ноутбуки.
21. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
22. Кейсы в CS2 и паки Fifa предложили запретить в России.
23. Когда сажать бархатцы и какие сорта лучше выбрать.
24. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
25. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
26. Картофельные ростки: золотой актив, который вы зря выбрасывали!
27. Mышь в yлье.
28. Пятьcot лет тому нaзад.
29. Cвeжий укроп всегда под рукoй.
30. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
31. Обычный лавровый лист заставит комнатные растения пышно цвести.
32. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
33. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
34. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
35. Их форма, цвет и даже расположение никогда не бывают случайными.
36. Стильное оформление квартиры.
37. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
38. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
39. Пoчему лук стoит caжать в клyбнике.
40. 28 kулинарных tohкостей на вec 3 олота.
41. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
42. Этот робот не просто убирает ваш дом - он его изучает.
43. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
44. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
45. Начинайте готовить ягодные кустарники к холодам.
46. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
47. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
48. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
49. Создать овальные подносы можно легко, используя только свои руки.
50. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.