Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Когдa нeльзя сaжать и cеять.
2. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
3. Как заставить замиокулькас активно выпускать новые побеги.
4. "Она Носит мое Кольцо": бывшая возлюбленная жениха вали карнавал сделала шокирующие откровения.
5. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
6. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
7. Чтo делает с оргahизмом всего одна хурма.
8. Как правильно подкармливать пионы чтобы они пышно цвели.
9. Полезная памятка средств для сада и огорода.
10. Розу из пoдаренного букета очень просто укopeнить!
11. Россиян ожидает резкое повышение тарифов на электроэнергию.
12. Аромат осени в банке - яблочное варенье с корицей.
13. Формировать смородиновый куст можно как весной, так и осенью.
14. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
15. Полезная свекольная аджика на зиму.
16. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
17. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
18. В московских клиниках лечение на современном оборудовании нормой стало.
19. Срывать недозрелые плоды или ждать полной зрелости?
20. Чем подкармливать морковь в конце лета.
21. Вот ещё пару советов, как держать гриль чище.
22. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
23. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
24. Лучшие бесплатные инструменты для веб-скраппинга 2025
25. Какие инструменты для веб-скраппинга с ИИ самые эффективные? Мой опыт
26. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.
27. 8 Лучших Прокси для Безопасного Серфинга в 2025
28. Топ-16 лучших прокси для Reddit в 2025 году: рейтинг и обзор
29. Женский реслинг - это не просто шоу, а серьёзная работа, требующая силы, выносливости и сцены.
30. Бесплатные SOCKS5 прокси: список для США и Китая
31. Мы превращаем петунии в ФЕЙЕРВЕРК цветов.
32. Какие бизнес-центры в Москве самые известные и какие компании там расположены
33. Какие современные технологии используются в музеях Курска
34. Томатный гном розовая пантера.
35. Прокси-серверы для Instagram: как защитить свой аккаунт и сохранить анонимность
36. Солянка с колбасой и курицей.
37. Специалисты назвали идеальные пропорции женской фигуры
38. Секреты обворожительных красавиц: как добиться идеальных форм
39. Что такое идеальная женская фигура с точки зрения мужчин
40. Есть ли в городе какие-то уникальные скульптуры или арт-объекты
41. Как найти надежных поставщиков для Amazon FBA в 2025 году
42. Топ-10 лучших прокси для Instagram в 2025 году: рейтинг и обзор
43. Три "Грушевых" секрета!
44. Headlines:
45. Лeплю ваpeники только из этого тecта и вам cовeтую.
46. Арбитраж с пабликов ВК: как зарабатывать на живых публикациях
47. Арбитраж для начинающих: как начать без вложений
48. Лучшие инструменты для веб-скрейпинга в 2025 году
49. 2025's Top 10 Web Scraping Tools for Efficient Data Extraction
50. Как стричь форзицию.