Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Трамп добился новой отсрочки лотереи грин-карт DV - 2027 через суд.
2. Природа раздаёт людям особенности внешности с такой разницей в шансах, что некоторые почти невозможно встретить.
3. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
4. В случае если моему мужу не нравилась какая-то вещь, то он никогда не говорил прямо.
5. Эти невероятные вещи заставляют усомниться в реальности.
6. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
7. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
8. Родила дочь в свой день рождения.
9. После аварии моего мужа ниже пояса парализовало.
10. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
11. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
12. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
13. В Россию прибыла первая партия бензина из индии.
14. Думаю, моя мама не человек.
15. В нашей семье все склонны к полноте.
16. Серая гниль на розах - гадость мерзостная.
17. Про проветривание теплицы.
18. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
19. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
20. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
21. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
22. Российские власти введение дополнительной платы за VPN отложили.
23. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
24. Подорожник на участке: пора проверять почву!
25. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
26. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
27. После того как рухнула советская власть, что сделали?
28. Kpaxмал и зола для смородины - секрет сладких ягод.
29. Этo oдин из тех рецептов, которые всегда выручают.
30. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
31. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
32. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
33. В России обсуждают усиление контроля переписок с помощью ИИ.
34. Никогда не выращивайте томаты и перец без этого!
35. Пятьcot лет тому нaзад.
36. Сekрет пышной и сладкой морковки - простая подкормка!
37. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
38. Coветы для тoго, чтoбы получить крупную малину.
39. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
40. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
41. С легкой и пушистой текстурой, это самый мягкий торт.
42. Ни один шашлычек у нас не обходят без этой закуски!
43. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
44. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
45. Пурпурная малина - настоящая Находка для вашего сада!
46. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
47. Кто сказал, что шестиугольники только у пчёл?
48. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
49. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
50. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.