Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Человечество создало резервную копию урожая на случай катастрофы.
2. В случае если моему мужу не нравилась какая-то вещь, то он никогда не говорил прямо.
3. Недавно с мужем заселились в съёмную квартиру.
4. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
5. Удивительные товарищи всё-таки - родственнички.
6. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
7. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
8. Все выбрасывают арбузные корки, а я замариновала одну банку.
9. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
10. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
11. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
12. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
13. Живу с родителями.
14. Официальная мировая история находится намного ближе к нам, чем кажется.
15. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
16. За долгое время наш мир сталкивался с невероятно странными событиями.
17. Муж часто домашние дела на потом задвигает.
18. Уволенных россиян официально призвали готовиться к целому году безработицы.
19. Некоторые древние технологии до сих пор превосходят современные достижения науки.
20. Урологи из сша новую технологию увеличения разработали.
21. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
22. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
23. Натуральные стимуляторы образования корней.
24. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
25. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
26. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
27. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
28. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
29. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
30. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
31. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
32. Hикогда не выращивайте tomаты и перец без этого!
33. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
34. Coветы для тoго, чтoбы получить крупную малину.
35. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
36. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
37. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
38. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
39. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
40. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
41. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
42. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
43. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
44. Нашим любимым подписчикам, дачникам и садоводам на заметку.
45. С утра иногда так хочется выпить ароматного бодрящего кофе.
46. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
47. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
48. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
49. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
50. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.