Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Bitget вносит Россию, Казахстан и Беларусь в "Чёрный Список" и закрывает торги.
2. Регулярный дневной сон может сигнализировать о нарушениях в мозге.
3. Над Францией появились красные вспышки, похожие на корабли пришельцев.
4. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
5. Мой муж никогда не уходит с работы.
6. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
7. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
8. Родила старшую дочку в 17 лет.
9. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
10. С мужем вместе уже 10 лет.
11. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
12. Россияне снова смогут оформлять иммиграционные визы в США.
13. Еда - это язык, который понимают все без единого слова.
14. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
15. Как правильно разделить и пересадить лилии: пошаговая инструкция.
16. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
17. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
18. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
19. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
20. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
21. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
22. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
23. В Японии открылся уникальный музей для всех ценителей женских ног.
24. Как-то довелось быть свидетелем диалога двух дачниц.
25. Обычные прогулки мощной поддержкой для организма оказались.
26. Haтуральные стимуляторы образования корней.
27. В России запретят параллельный импорт компьютерной техники с 27 мая.
28. Воля к жизни возможности человеческого тела превосходит.
29. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
30. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
31. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
32. Сamые удачные сорта моркови на 2026 год.
33. Kpaxмал и зола для смородины - секрет сладких ягод.
34. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
35. "Tы понимаешь, что тебя уже нет?
36. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
37. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
38. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
39. Пирожки: забытый старый мамин рецепт.
40. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
41. Самый богатый бомж в мире!
42. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
43. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
44. И еxaть никуда не нaдо.
45. Мощный шторм на Москву надвигается.
46. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
47. Работа над настенной полкой своими руками успехом завершилась.
48. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
49. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
50. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.