Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
2. Heжнeйший пирог 4 стакана.
3. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
4. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
5. Эта комната не подстраивается под свет - она управляет им в реальном времени.
6. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
7. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
8. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
9. Начинайте готовить ягодные кустарники к зимовке.
10. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
11. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
12. Этот робот не просто убирает ваш дом - он его изучает.
13. Какие лилии могут зимовать в грунте!
14. Недорогое средство от пятнистостей на розах.
15. Учёные Ozempic без побочных эффектов создали.
16. Мы готовим малинник к следующему сезону правильно!
17. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
18. Как понять, что тыква созрела?
19. Грим в кино - это не просто макияж, а важная часть создания образа героя.
20. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
21. Топ-15 лучших инструментов для веб-скраппинга в 2025 году
22. Топ-10 лучших бесплатных мгновенных данных
23. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.
24. Упорные тренировки в зале сильно меняют девушек как внешне, так и внутренне.
25. Варенье из одуванчиков - это не только вкусное лакомство, но и полезный продукт для здоровья.
26. Немного о борьбе с борщевиком.
27. Посев астры: 3 правила успеха.
28. Вот рецепт маринованных кабачков - отличная закуска, которая отлично подойдет к любому столу.
29. Сделать дверной откос из вагонки - отличный способ придать двери аккуратный и эстетичный вид.
30. Габионы - это такие красивые и прочные конструкции, которые используют для укрепления берегов, создания декоративных стен и ландшафтных украшений.
31. Полное руководство: как начать продавать на Amazon и других платформах
32. Сладкую малинку хотите?
33. Культурная жизнь Москвы: музеи, театры и фестивали
34. Где можно посетить мастер-классы или творческие встречи
35. Лучшие вращающиеся резидентные прокси 2025 года: рейтинг и обзор
36. Какие улицы и площади Ростова-на-Дону считаются самыми красивыми и насыщенными историей
37. Какие легенды связаны с Невой
38. Самый продвинутый безопасный и бесплатный веб-прокси
39. 15 супер - рецептов из помидоров.
40. Понимание Твоей Фигуры: 5 Основных Типов и Как Ими Пользоваться
41. Есть ли в городе какие-то уникальные скульптуры или арт-объекты
42. 100+ Лучших товаров для продажи на Amazon в 2025 году
43. Топовые идеи продуктов для Amazon FBA в 2025 году: Что будет востребовано
44. Лучшие прокси-сервисы 2025: как выбрать идеальный для себя
45. Лучшие приватные прокси для Instagram: обзор и рекомендации
46. Белокочанная капуста боярыня - признанный фаворит тысяч дачников.
47. Арбитраж трафика умер в 2025: причины и последствия
48. Что такое первобил и кто стоят за ними первобильщики
49. Какие промышленные предприятия сделали Кемерово известным
50. Подборка лучших рецептов домашнего кваса.