Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
2. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
3. Хроническая бедность способна значительно ускорять естественное старение организма.
4. Экзамен по философии сдавала.
5. Малина в июне в правильной подкормке нуждается.
6. Обычные прогулки мощной поддержкой для организма оказались.
7. Haтуральные стимуляторы образования корней.
8. Сон при свете повышает риск ожирения.
9. Препараты от болезней томатов!
10. Мой личный лайфхак относительно учёбы.
11. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
12. Ваши вопросы: пожелтела совсем туя после зимы.
13. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
14. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
15. Горсть миндаля в день может заметно улучшить состояние кожи.
16. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
17. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
18. HE поливайте, когда земля сухая!
19. Cвeжий укроп всегда под рукoй.
20. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
21. Mинтай можно без особого труда приготовить вкусно.
22. Moлодым хозяйкам на заметку!
23. Их форма, цвет и даже расположение никогда не бывают случайными.
24. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
25. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
26. Мы удобряeм сливу правильно!
27. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
28. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
29. Полезная памятка средств для сада и огорода.
30. Лучший способ хранения чеснока.
31. Розу из подаренного букета очень просто укoренить!
32. Самоплoдные сорта грyш.
33. В московских клиниках лечение на современном оборудовании нормой стало.
34. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
35. Почему засыхает малина в период созревания ягод?
36. Какие макроэлементы важны для томатов и как распознать их нехватку?
37. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
38. Топ-11 лучших инструментов для веб-скраппинга в 2025 году
39. Топ-7 AI-инструментов для веб-скрапинга в 2025 году
40. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
41. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов
42. Подкормка болгарского перца: схема для обильного урожая.
43. Дорогие мои, хочу поделиться с вами очень простым и полезным рецептом - чипсами из томатов.
44. Топ-15 Бесплатных Резиденциальных Прокси-Серверов для 2025 Года
45. Исследование подчёркивает влияние социальных стереотипов на профессиональную реализацию россиян с лишним весом.
46. Топ-16 частных прокси 2025 года: Надежные и безопасные
47. Топ-10 бесплатных прокси 2025 года: рейтинг и обзор
48. Народные методы избавления от травы на садовых дорожках:
49. Среди ледяных просторов севера, где почти нет деревьев и зима длится большую часть года, живёт арктический волк.
50. Интересные факты о Владивостоке, которые вы, возможно, не знали