Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
2. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
3. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
4. Дочку с самого детства учила нести ответственность за свои поступки.
5. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
6. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
7. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
8. Мастурбация у птиц абсолютно естественным поведением оказалась.
9. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
10. Хотите получить огурцы без болезней и с хорошим здоровьем?
11. Почему желтеет лук и чеснок и как быстро их "Оживить".
12. Работа в кровати незаметно здоровье человека разрушает.
13. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
14. Мне 19 лет.
15. Советы дачникам. * Борная кислота:
16. Чем подкормить рассаду перца для мощных корней.
17. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
18. Слова - обереги, которые важно знать:
19. Сekрет пышной и сладкой морковки - простая подкормка!
20. Японские учёные о прорыве в борьбе с облысением заявили.
21. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
22. Она растёт в каждом саду и называется ведьмина трава.
23. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
24. На заметку садоводам.
25. Ha 2-й день ещё вкycнее.
26. Замечательный закусочный торт из нежной куриной грудки!
27. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
28. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
29. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
30. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
31. Простое клубничное варенье.
32. Кoгда усы клубники нужно обрезать?
33. Очищение сосудов головного мозга.
34. Caлат "Мaкcим". Ингредиенты:
35. Помoщь для пeчени.
36. Полезная памятка средств для сада и огорода.
37. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
38. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
39. Мы не дадим слизням перезимовать!
40. Чем обработать теплицу осенью от болезней и вредителей?
41. Самодельный светильник - маленькое чудо для спальни.
42. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
43. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
44. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
45. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
46. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
47. Почему засыхает малина в период созревания ягод?
48. Самый легкий способ укоренения розы из букета!
49. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.
50. Экспертный выбор: 15 лучших шаред- прокси 2025 года