Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
2. В нашей семье все склонны к полноте.
3. Живу с родителями.
4. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
5. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
6. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
7. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
8. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
9. Некоторые археологические открытия наше прошлое слишком странным делают.
10. Нарциссизм всё чаще связывают именно с генетикой.
11. Сон при свете повышает риск ожирения.
12. В России запретят параллельный импорт компьютерной техники с 27 мая.
13. Турецкий огуречный салат.
14. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
15. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
16. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
17. Kaк подкармливать перец для щедрого урожая.
18. Трещины на тротуарах превращаются в целые миры художника.
19. Картофельные ростки: золотой актив, который вы зря выбрасывали!
20. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
21. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
22. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
23. Японские учёные о прорыве в борьбе с облысением заявили.
24. Пpoбовали caжать лук китaйским спocoбом?
25. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
26. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
27. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
28. Врачи о бесполезности популярных бадов с коллагеном заявили.
29. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
30. Секрет крупного озимого чеснока - простая подкормка при посадке!
31. Розу из подаренного букета очень просто укoренить!
32. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
33. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
34. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
35. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
36. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
37. Создать овальные подносы можно легко, используя только свои руки.
38. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
39. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
40. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
41. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
42. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
43. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
44. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.
45. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
46. 10 июня 2023 года легендарная гонка "24 часа Ле - Мана" началась с настоящей драмы, которая сразу вошла в историю автоспорта.
47. Топ-11 выделенных прокси 2025: Надежные решения для ваших онлайн-нужд
48. Альпинисты, которые покоряют снежные и высокие горы, всегда рискуют многим.
49. Яблоня "Роялти" - это популярный сорт яблони, известный своими крупными, вкусными плодами и высокой урожайностью.
50. Как использовать публичные SOCKS5 прокси в Telegram