Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
2. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
3. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
4. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
5. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
6. Долго планировали с мужем переезд, нашли жилье.
7. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
8. Четыре салата в банках на зиму.
9. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
10. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
11. Хроническая бедность способна значительно ускорять естественное старение организма.
12. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
13. Моего кота зовут заяц.
14. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
15. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
16. Урологи из сша новую технологию увеличения разработали.
17. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
18. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
19. Воля к жизни возможности человеческого тела превосходит.
20. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
21. У китайцев принято чавкать.
22. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
23. 1941 год. Украина, первые месяцы оккупации.
24. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
25. Картофельные ростки: золотой актив, который вы зря выбрасывали!
26. Почeму чеснoк при хранении усыхает.
27. Cвeжий укроп всегда под рукoй.
28. Рецепт меренгового рулета.
29. Дочь марии Шукшиной раскрыла боль семейных отношений.
30. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
31. Она растёт в каждом саду и называется ведьмина трава.
32. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
33. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
34. Пиpoжки: зaбытый стapый мaмин рeцепт.
35. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
36. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
37. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
38. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
39. Насыпной пирог с творожной начинкой.
40. Маринованные помидоры. Предлагаю рецепт помидорчиков.
41. Чем обработать теплицу осенью от болезней и вредителей?
42. Нашим любимым подписчикам, дачникам и садоводам на заметку.
43. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
44. Пурпурная малина - настоящая Находка для вашего сада!
45. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
46. Начинайте готовить ягодные кустарники к холодам.
47. Создавать своими руками - значит делать вещи особенными.
48. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
49. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
50. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.