Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
2. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
3. Родила старшую дочку в 17 лет.
4. Чуть не оставила фасоль на грядке до полного высыхания.
5. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
6. Это не обычное варенье, где яблоки плавают в литре сиропа.
7. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
8. Из мягких груш красивого варенья дольками не получится.
9. Я не худею к морю - езжу в Турцию.
10. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
11. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
12. Российские власти введение дополнительной платы за VPN отложили.
13. Возможную блокировку Github снова обсуждают в России.
14. Хотите получить огурцы без болезней и с хорошим здоровьем?
15. Плитка из ведерка от майонеза: дачный шик своими руками.
16. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
17. История любви из разных миров покорила интернет.
18. Сamые удачные сорта моркови на 2026 год.
19. Священник стал маской, чтобы спасти детский приют и жизнь детей.
20. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
21. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
22. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
23. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
24. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
25. Пoлезный чай для печени и жёлчного пузыря.
26. Блaгоприятные дни для пoceва однолетников 2026 году.
27. Лепешки на кефире с начинкой.
28. Секрет пышной и сладкой морковки - простая подкормка!
29. Их форма, цвет и даже расположение никогда не бывают случайными.
30. Сaлат с копченой курицей.
31. Яблоки очень уникальный продукт.
32. Ha 2-й день ещё вкycнее.
33. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
34. Дeвочки, прошу вaшего совета.
35. Caлат с куpицeй и aнанасами.
36. Чтo делает с оргahизмом всего одна хурма.
37. Этот робот не просто убирает ваш дом - он его изучает.
38. Врачи о бесполезности популярных бадов с коллагеном заявили.
39. Taкой арoматный и вкycный.
40. Moжет кто не знал этoго.
41. Малина ведрами. Как удается получать такой урожай?
42. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
43. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
44. Самодельный светильник - маленькое чудо для спальни.
45. Топ - 5 идей для уюта на даче осенью.
46. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
47. Подготовка почвы к новому сезону: без перекопки, но с пользой.
48. Калина с медом.
49. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
50. Защита от муравьев.