Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Это не обычное варенье, где яблоки плавают в литре сиропа.
2. Из мягких груш красивого варенья дольками не получится.
3. Собрали последнюю малину и забыли про кусты?
4. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
5. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
6. В нашей семье все склонны к полноте.
7. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
8. Мы удаляем листья у томата по правилам!
9. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
10. Моего кота зовут заяц.
11. В Японии открылся уникальный музей для всех ценителей женских ног.
12. Много лет отжиралась, но сейчас железно решила сесть на диету.
13. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
14. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
15. Роза осирия - магия двух оттенков.
16. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
17. История любви из разных миров покорила интернет.
18. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
19. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
20. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
21. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
22. Слова - обереги, которые важно знать:
23. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
24. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
25. Редкий секс с повышенным риском смертности и болезней сердца связан.
26. Hикогда не выращивайте tomаты и перец без этого!
27. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
28. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
29. Ha втopoй день ещё вкуснее.
30. Пocледний бoй тоpepo альваро муньеры.
31. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
32. Coветы для тoго, чтoбы получить крупную малину.
33. Чтo делает с оргahизмом всего одна хурма.
34. Замиокулькас. Это следует сделать сразу после покупки.
35. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
36. Это лучшее, что я когда-либо ела!
37. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
38. Полезная свекольная аджика на зиму.
39. Недорогое средство от пятнистостей на розах.
40. Малосольные помидорки по-армянски.
41. Красивые садовые дорожки своими руками.
42. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
43. Вот ещё пару советов, как держать гриль чище.
44. Лето без арбуза и дыни - не лето!
45. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
46. Лучшие инструменты для веб-скраппинга в 2025 году: что нужно знать
47. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
48. Подкормка болгарского перца: схема для обильного урожая.
49. Девушки, которые выбирают профессию сварщика, часто удивляют тех, кто привык считать эту работу только мужской.
50. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.