Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Кoгда усы клубники нужно обрезать?
2. Этот пирог лучше, чем торт и вкуснее кекса.
3. Что нужно знать о перце:
4. Дeвочки, прошу вaшего совета.
5. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
6. Давайте мы приготовим вкуснейшую аджику из cлив.
7. Taкой арoматный и вкycный.
8. В России отложили введение нового утильсбора для автомобилей.
9. Как ухаживать за астрами для пышного цветения.
10. Топ - 5 идей для уюта на даче осенью.
11. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
12. Красивые садовые дорожки своими руками.
13. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
14. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
15. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
16. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
17. Лето без арбуза и дыни - не лето!
18. Самый легкий способ укоренения розы из букета!
19. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
20. Лучшие инструменты для веб-скраппинга: как эффективно извлекать данные
21. Топ-11 лучших инструментов для веб-скраппинга в 2025 году
22. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.
23. 11+ лучших SEO-прокси 2025 года для обмана алгоритмов
24. Какие необычные места можно посмотреть в Волгограде, которые не указаны в обычных путеводителях
25. В мире спорта есть люди, чьё тело словно создано для результата.
26. Топ-10 бесплатных прокси 2025 года: рейтинг и обзор
27. Домашние прокси 2025: топ-10 лучших вариантов для вашей безопасности
28. Йошта. Почему я её крыжовнику предпочла.
29. Полное руководство: Как начать продавать на Amazon в 2025 году
30. Инуиты - коренные жители Арктики, населяющие Гренландию, север Канады, Аляску и некоторые районы России.
31. Посетители вулкана спускаются вниз, когда на Этне началось извержение.
32. Какие спортивные мероприятия проводятся в парках Москвы
33. Есть ли места для ночного отдыха
34. Секреты девушек с идеальной фигурой: как достичь своей мечты
35. Какие лучшие рестораны для гурманов в Москве
36. Как изменились стандарты красоты: что теперь считается идеальным
37. Где можно поиграть в спорт
38. Творожный кулич без замеса теста и дрожжей.
39. Как найти надежных поставщиков для Amazon FBA в 2025 году
40. Топ-30 самых прибыльных товаров для продажи на Amazon в феврале 2025 года
41. Headlines:
42. Как успешно продавать на Amazon: пошаговое руководство
43. Лучшие товары для продажи на Amazon FBA в 2025 году: Полное руководство
44. Топ-12 провайдеров residential proxy в 2025 году: лучшие сервисы для безопасного интернета
45. Лучшие резидентные прокси для Instagram: как выбрать идеальный вариант
46. Лучшие прокси для Instagram 2025: идеальное решение для веб-скраппинга и множественных аккаунтов
47. Нeжнeйший пирог 4 стакана.
48. The Ultimate Guide to the Top 15 Web Scraping Tools and Software in 2025
49. Maximize Your Internet Experience with Proxifier 4.12 Free Full Activated
50. Unlocking the Potential of Proxy APIs for Web Scraping