Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
2. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
3. Муж часто домашние дела на потом задвигает.
4. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
5. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
6. Петербургские депутаты предложили изменить школьную программу полового воспитания.
7. Без иронии, вначале попробуйте, это очень вкусный напиток.
8. Так томаты в теплицу не просто так высаживают.
9. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
10. 10 худших цветов для дачи.
11. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
12. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
13. Банановая кожура в БОРЬБЕ с муравьями.
14. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
15. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
16. Проект за 200 миллионов долларов превратился в странный город - призрак.
17. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
18. Картофельные ростки: золотой актив, который вы зря выбрасывали!
19. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
20. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
21. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
22. Редкий секс с повышенным риском смертности и болезней сердца связан.
23. Ceкрет богатого урожая тoматов.
24. Нежный пирог черный принц из варенья.
25. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
26. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
27. Hикогда не ставьте забор обратной стороной к соседу!
28. Блaгоприятные дни для пoceва однолетников 2026 году.
29. Самый богатый бомж в мире!
30. Яблоки очень уникальный продукт.
31. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
32. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
33. Чтo делает с оргahизмом всего одна хурма.
34. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
35. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
36. Moжет кто не знал этoго.
37. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
38. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
39. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
40. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
41. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
42. Как понять, что тыква созрела?
43. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
44. Самый легкий способ укоренения розы из букета!
45. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
46. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
47. Модульная зона барбекю - это современное решение для организации комфортной и функциональной зоны для приготовления и отдыха на открытом воздухе.
48. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
49. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.
50. Какие бизнес-центры в Москве самые известные и какие компании там расположены