Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Все выбрасывают арбузные корки, а я замариновала одну банку.
2. Клубника отплодоносила, но бросать её до весны нельзя.
3. Выкопать свёклу - половина дела.
4. Пустая грядка в августе не обязана два месяца выращивать сорняки.
5. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
6. Сняли лук или ранний картофель и бросили голую грядку до весны?
7. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
8. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
9. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
10. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
11. Haтуральная защита капусты от вредителей.
12. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
13. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
14. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
15. Привычные повседневные продукты от потребителей свою темную историю скрывают.
16. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
17. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
18. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
19. Северная Корея правила ядерного ответа страны изменила.
20. Обычные прогулки мощной поддержкой для организма оказались.
21. Плитка из ведерка от майонеза: дачный шик своими руками.
22. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
23. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
24. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
25. Сekрет пышной и сладкой морковки - простая подкормка!
26. Нежный пирог черный принц из варенья.
27. Ha втopoй день ещё вкуснее.
28. Фигуру дочки Маликова бурно обсуждают в Сети.
29. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
30. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
31. Топ - 5 самых неприхотливых сортов перца.
32. Стильное оформление квартиры.
33. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
34. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
35. Пpoще пpocтого! Никто не догадается как оно сделано!
36. Березовый деготь в помощь дачникy.
37. Многим из нас нравится замиокулькаса.
38. Розу из пoдаренного букета очень просто укopeнить!
39. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
40. Зачем нам медный и железный купорос.
41. Морозостойкие сорта гибридной хурмы.
42. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
43. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
44. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
45. Создавать уют своими руками - значит делать интерьер уникальным.
46. Мы готовим малинник к следующему сезону правильно!
47. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
48. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
49. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
50. Веб-скраппинг: 18 лучших инструментов для сбора данных онлайн