Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Трамп добился новой отсрочки лотереи грин-карт DV - 2027 через суд.
2. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
3. Эти невероятные вещи заставляют усомниться в реальности.
4. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
5. Пустая грядка в августе не обязана два месяца выращивать сорняки.
6. Мы с мужем очень сильно поругались, решили разводиться.
7. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
8. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
9. Цветы на томатах есть, а завязи нет: что я делаю в жару.
10. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
11. Про проветривание теплицы.
12. Большинство крупнейших катастроф в мировой истории не были неизбежными.
13. Официальная мировая история находится намного ближе к нам, чем кажется.
14. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
15. Мастурбация у птиц абсолютно естественным поведением оказалась.
16. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
17. Лиcтья свернулись и побелели после высадки в теплицу.
18. Без иронии, вначале попробуйте, это очень вкусный напиток.
19. В России запретят параллельный импорт компьютерной техники с 27 мая.
20. Важные правила подкормки, о которых нельзя забывать.
21. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
22. Почему вы зря деревья от лишайника белите?
23. Натуральные стимуляторы образования корней.
24. Гигантский астероид скоро рядом с землёй пройдёт.
25. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
26. Три народных средства для крепкой рассады томатов.
27. 1941 год. Украина, первые месяцы оккупации.
28. Слова - обереги, которые важно знать:
29. Hикогда не выращивайте tomаты и перец без этого!
30. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
31. Секрет пышной и сладкой морковки - простая подкормка!
32. Стильное оформление квартиры.
33. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
34. Пробовали сажать лук китайским способом?
35. Не пробовали посадить лук китайским способом?
36. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
37. Этот робот не просто убирает ваш дом - он его изучает.
38. С легкой и пушистой текстурой, это самый мягкий торт.
39. Творожный чизкейк. Ингредиенты:
40. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
41. Это лучшее, что я когда-либо ела!
42. Разбираемся как бороться с червяками на малине.
43. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
44. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
45. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
46. Какие лилии могут зимовать в грунте!
47. Как избавиться от грызунов на даче простыми средствами.
48. С утра иногда так хочется выпить ароматного бодрящего кофе.
49. Острый соус, который можно замораживать.
50. Что делать, если листья огурцов стали "Мраморные"?