Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Когда сажать бархатцы и какие сорта лучше выбрать.
2. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
3. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
4. Помoгаем печени утpoм, днем и вечером!
5. Японские учёные о прорыве в борьбе с облысением заявили.
6. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
7. Oбычный лавровый лист заставит комнатные растения пышно цвести.
8. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
9. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
10. На заметку садоводам.
11. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
12. Эта комната не подстраивается под свет - она управляет им в реальном времени.
13. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
14. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
15. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
16. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
17. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
18. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
19. Розу из пoдаренного букета очень просто укopeнить!
20. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
21. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
22. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
23. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
24. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
25. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
26. Недорогое средство от пятнистостей на розах.
27. Что обязательно укрыть на зиму, кроме роз.
28. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
29. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
30. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
31. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
32. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
33. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
34. Top 40 инструментов для веб-скрапинга в 2025: что нового
35. Топ-10 лучших бесплатных мгновенных данных
36. Почему гниет клубника на грядках и как этого избежать.
37. 8 Лучших Прокси для Безопасного Серфинга в 2025
38. Подготовка девушек - футболисток к новому сезону - это сочетание выносливости, силы и точной дисциплины.
39. Надежный список прокси: обновление каждый день
40. Психологи напоминают: плакать - это не слабость, а естественный способ справиться с эмоциями и стрессом.
41. Тренировка задолго до старта начинается.
42. Чтобы сделать копатель траншей из трубы, вам потребуется немного инструментов и материалов, а также аккуратность и терпение.
43. Какие парки и скверы Москвы популярны для прогулок зимой
44. Лучшие сервисы по продаже резидентных прокси: как выбрать надежного поставщика
45. Лучшие сервисы по продаже мобильных прокси: рейтинг и обзор
46. Что такое прокси-сервер и для чего он нужен
47. Крем с йодом все морщинки уберет!
48. Солянка с колбасой и курицей.
49. Секреты обворожительных красавиц: как добиться идеальных форм
50. Как найти лучшего поставщика для ваших продуктов Amazon FBA