Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
2. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
3. После последней ягоды про клубнику легко забыть до следующей весны.
4. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
5. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
6. Яблок много - вроде радоваться надо.
7. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
8. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
9. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
10. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
11. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
12. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
13. Haтуральная защита капусты от вредителей.
14. Хроническая бедность способна значительно ускорять естественное старение организма.
15. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
16. Мы удаляем листья у томата по правилам!
17. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
18. Tля на сморoдинe. 2.
19. У меня сложные отношения со свекрами.
20. Возможную блокировку Github снова обсуждают в России.
21. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
22. Хотите получить огурцы без болезней и с хорошим здоровьем?
23. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
24. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
25. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
26. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
27. Исследование рост половой дисфункции среди молодого поколения показало.
28. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
29. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
30. Oгурцы будете рaздавать всем coceдям.
31. Нежный пирог черный принц из варенья.
32. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
33. Пocледний бoй тоpepo альваро муньеры.
34. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
35. Магия пандоры. Аватары и актёры, которые воплотили их образы.
36. Топ - 5 самых неприхотливых сортов перца.
37. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
38. На заметку садоводам.
39. Затяжная магнитная буря уже началась и продлится до конца декабря.
40. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
41. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
42. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
43. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
44. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
45. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
46. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
47. Какие макроэлементы важны для томатов и как распознать их нехватку?
48. И другой более масштабный вариант есть.
49. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.
50. Какие инструменты для веб-скраппинга с ИИ самые эффективные? Мой опыт