Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Не пробовали посадить лук китайским способом?
2. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
3. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
4. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
5. Маленькие, но важные детали делают интерьер особенным.
6. Казалось бы, простая рамка для фото.
7. Малосольные помидорки по-армянски.
8. Калина с медом.
9. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
10. Защита от муравьев.
11. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
12. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.
13. Лучший инструмент для скрапинга сайтов в 2025 году
14. Лучшие бесплатные прокси-провайдеры: топовый рейтинг
15. Модульная зона барбекю - это современное решение для организации комфортной и функциональной зоны для приготовления и отдыха на открытом воздухе.
16. Немного о борьбе с борщевиком.
17. Полное руководство: как начать продавать на Amazon и других платформах
18. Как заказать товары с Amazon в Россию в 2025 году: пошаговая инструкция
19. Топ 24 лучших прокси IPv4: рейтинг надежности и скорости
20. 10
21. Очeнь интepeсный способ посaдки!
22. 1. для дорожек.
23. Что продавать на Amazon FBA в 2025: Тренды и возможности
24. Топ-20 товаров для Amazon FBA в 2025 году: тренды и возможности
25. Ловите рецепт вкусного и полезного облепихового чая для поддержания иммунитета в холодное время года!
26. Какая самая древняя церковь в Тамбове и какова ее история
27. Headlines:
28. Полное руководство по исследованию продуктов для Amazon FBA в 2025 году
29. Как начать исследовать товары на Amazon FBA с помощью Helium 10: Руководство для начинающих
30. Как найти топовые товары для продажи на Amazon прямо сейчас
31. Headlines:
32. Какие культурные инициативы поддерживаются городом
33. Как я нахожу выгодные товары для продажи на Amazon FBA: проверенные стратегии
34. Секреты поиска продуктов для продажи на Amazon FBA в 2025 году
35. Огурчики по-фински: шикарный рецепт.
36. Какие интересные факты о мостах через Неву
37. Милaшино тeсто (супер - экспресс).
38. Лучшие прокси для Instagram 2025: идеальное решение для веб-скраппинга и множественных аккаунтов
39. Пельменное тесто. Вот что нам потребуется:
40. Арбитраж трафика с нуля в 2025: пошаговое руководство
41. Арбитраж трафика в 2025: как извлечь максимум прибыли из цифрового рынка
42. Какие промышленные предприятия сделали Кемерово известным
43. Скрапинг в 2025: 10 лучших инструментов для эффективного анализа данных
44. Можно ли сайдинг крепить без обрешетки или можно ли сайдинг крепить без обрешетки на осб плиту?
45. Садовый бинт, применяемый в плодовом саду, заменяет использование побелки и ловчих поясов.
46. Maximizing Your Internet Experience with Proxifier 4.12 Crack
47. Maximize Your Instagram Presence with These Top 10 Proxies for 2025
48. Unveiling the Top 10 Instagram Proxy Providers for 2025
49. Maximizing Your Instagram Experience: A Comprehensive Guide to the Best Proxies in 2025
50. Top Instagram Proxies for 2025: Stay Ahead of the Game