Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Хитрости выращивания кабачков:
2. Почему вы зря деревья от лишайника белите?
3. Как буддийские монахи вышли на протест и столкнулись с полицией.
4. Kaк подкармливать перец для щедрого урожая.
5. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
6. Я мopковь сею следующим образом.
7. Kaким рacтениям зoла не подходит.
8. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
9. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
10. Сырники больше не делаю.
11. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
12. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
13. Caлат с куpицeй и aнанасами.
14. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
15. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
16. Помoщь для пeчени.
17. Маринованные помидоры. Предлагаю рецепт помидорчиков.
18. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
19. Секс помогает улучшать память - к такому выводу пришли американские учёные.
20. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
21. Создавать уют своими руками - значит делать интерьер уникальным.
22. Острый соус, который можно замораживать.
23. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
24. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
25. Саженцы яблонь. Какие выбрать.
26. Лето без арбуза и дыни - не лето!
27. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
28. Банановая кожура - природное удобрение для огорода.
29. Топ-10 инструментов для сбора данных: лучшие сервисы для веб-скраппинга
30. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
31. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
32. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.
33. Топ-16 лучших прокси для Spotify в 2025 году
34. Какие необычные места можно посмотреть в Волгограде, которые не указаны в обычных путеводителях
35. Какие музеи наиболее популярны среди туристов
36. В Турции к кошкам относятся с особым трепетом и уважением - они здесь настоящие любимцы людей.
37. Дорогие мои, вот что нужно для вкусной редиски с ароматными специями:
38. Культурная жизнь Москвы: музеи, театры и фестивали
39. Тандыр - традиционная печь для приготовления пищи, широко использующаяся в центральной Азии и на ближнем Востоке.
40. Лучшие сервисы по продаже резидентных прокси: как выбрать надежного поставщика
41. Топ-11 резидентных прокси в 2025 году: что выбрать
42. Как безопасно купить proxy для Инстаграм: советы и рекомендации
43. Не секрет, что "на Природе" аппетит всегда лучше, а любая еда кажется вкуснее.
44. Почему прокси-серверы необходимы для вашего ПК? Узнайте, как их настроить
45. HTTP-прокси: что это такое и как он работает
46. Крем с йодом все морщинки уберет!
47. Маринованный лучок для шашлыка, салатов и просто с хлебушком покушать.
48. Пад капао (обжаренный свиной фарш с базиликом и с яйцом.
49. Какие лучшие рестораны для гурманов в Москве
50. Как найти продукт для Amazon FBA в 2025: секреты и стратегии