Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
2. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
3. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
4. Многим из нас нравится замиокулькаса.
5. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
6. Oна есть у кaждого в саду … вeдьмина трава.
7. Розу из пoдаренного букета очень просто укopeнить!
8. Аромат осени в банке - яблочное варенье с корицей.
9. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
10. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
11. Самодельный светильник - маленькое чудо для спальни.
12. Топ - 5 идей для уюта на даче осенью.
13. Чем мульчировать малину осенью для защиты корней?
14. Срывать недозрелые плоды или ждать полной зрелости?
15. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
16. Подготовка почвы к новому сезону: без перекопки, но с пользой.
17. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
18. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
19. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
20. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
21. Three Russian Headlines:
22. Откройте для себя лучшие 4G и мобильные прокси 2025 года: Топ-10 рейтинг
23. Внимание! Только в том случае, если вы тоже хотите такую красоту, то вот пара советов как вырастить гигантскую гортензию.
24. Яблоня "Роялти" - это популярный сорт яблони, известный своими крупными, вкусными плодами и высокой урожайностью.
25. Топ-10 лучших прокси-серверов 2025 года: рейтинг и обзор
26. Топ-16 лучших прокси для Reddit в 2025 году: рейтинг и обзор
27. Надежный список прокси: обновление каждый день
28. Немного о борьбе с борщевиком.
29. Anonymous Free Proxy List: как оставаться анонимным в интернете
30. Пирамиды в момент постройки как сияющие инопланетные монолиты выглядели.
31. Дорогие мои, вот как я обычно вешаю цветочный горшок на веревку - это просто и красиво, а главное, надежно!
32. Как быстро вырастить базилик?
33. Тандыр - традиционная печь для приготовления пищи, широко использующаяся в центральной Азии и на ближнем Востоке.
34. Какие основные музеи расположены в Кремле и что в них можно посмотреть
35. Как сделать самим вкусную наливку.
36. Лучший прокси-сайт 2025: Обзор и рейтинг
37. Топ 10 прокси-серверов 2025: самые быстрые и безопасные варианты
38. Секреты девушек с идеальной фигурой: как достичь своей мечты
39. ТОП 10 самых красивых женских фигур мира: Часть 1
40. Какая женская фигура нравится мужчинам: мифы и реальность
41. Эталон женской фигуры: как определить и достичь идеал
42. Лучшие товары для продажи на Amazon FBA: как добиться успеха в третьем квартале
43. Восхитительные "Печёночные Трубочки" из печеночных блинов станут настоящим украшением вашего праздничного стола!
44. Топ 7+ провайдеров прокси для сбора данных из социальных сетей
45. Что такое ребилл в арбитраже трафика: полное руководство
46. Мясная запеканка. Любимый рецепт моей мамы.
47. Лучшие веб-скраперы 2025 года: 10 инструментов для эффективного веб-сканирования
48. В прошлом году в декабре поставили сруб общей площадью в 140 кв.
49. Top 5 Data Scraping Tools for Any Website in 2025
50. Unlocking the Power of Proxifier v4 with Registration Keys