Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
2. Рецепт плюшек: Ингредиенты для опары:
3. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
4. Этот пирог лучше, чем торт и вкуснее кекса.
5. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
6. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
7. Caлат "Мaкcим". Ингредиенты:
8. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
9. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
10. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
11. Это закуска на любом застолье на ура уходит!
12. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
13. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
14. Пурпурная малина - настоящая Находка для вашего сада!
15. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
16. Кто сказал, что шестиугольники только у пчёл?
17. Как спасти огурцы от мучнистой росы.
18. Почему засыхает малина в период созревания ягод?
19. Лучшие инструменты для веб-скраппинга: как эффективно извлекать данные
20. Как ухаживать за сливой, чтобы собрать щедрый урожай.
21. Дорогие мои, хочу поделиться с вами очень простым и полезным рецептом - чипсами из томатов.
22. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию:
23. Лучшие скраперы Instagram 2025: полное руководство
24. Как использовать публичные SOCKS5 прокси в Telegram
25. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.
26. Настоящее звёздное небо видно только вдали от городов, где нет светового загрязнения.
27. Сделать дверной откос из вагонки - отличный способ придать двери аккуратный и эстетичный вид.
28. Стоит ли использовать золу, чтобы yкроп вcxодил быcтрee?
29. Дорогие мои, вот что нужно для вкусной редиски с ароматными специями:
30. Шпаргалка, чтобы слива плодоносилa.
31. Какие необычные факты о Москве могут удивить даже местных жителей
32. Лучший прокси-сайт 2025: Обзор и рейтинг
33. Список лучших бесплатных proxy серверов: безопасность и анонимность
34. Headlines:
35. Идеальное женское тело: как разные страны видят красоту
36. Как начать исследовать товары на Amazon FBA с помощью Helium 10: Руководство для начинающих
37. Как я нахожу выгодные товары для продажи на Amazon FBA: проверенные стратегии
38. Лучшие прокси для Instagram 2025: идеальное решение для веб-скраппинга и множественных аккаунтов
39. Лучшие приватные прокси для Instagram: обзор и рекомендации
40. Быстрый рыбный пирог.
41. Энергия сцены: как выступления 'ПолнаЛюбви' завораживают зрителей
42. Мужчины не плачут.
43. Арбитраж в 2025: Миф или Реальность
44. Топ-3 метода заработка в интернете к 2025 году: как выбрать свой путь к успеху
45. Комнатный жасмин. Видео со звуком.
46. Мы готовим апельсиновый кeкс.
47. Лучшие инструменты для веб-скрейпинга в 2025 году
48. 20+ лучших инструментов веб-скрейпинга 2019 года
49. The Top 9 Web Scraper Tools for 2025: A Review
50. Когда жена спрашивает, не жирная ли она, я уточняю: "с точки зрения красоты или здоровья?