Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
2. После последней ягоды про клубнику легко забыть до следующей весны.
3. Еда - это язык, который понимают все без единого слова.
4. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
5. Мы с мужем очень сильно поругались, решили разводиться.
6. Депутат Горелкин слухи о блокировке Steam в России развеял.
7. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
8. Цветы на томатах есть, а завязи нет: что я делаю в жару.
9. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
10. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
11. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
12. Серая гниль на розах - гадость мерзостная.
13. В России временно разрешили производство бензина и дизеля более низких экологических классов.
14. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
15. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
16. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
17. Мой личный лайфхак относительно учёбы.
18. Хитрости выращивания кабачков:
19. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
20. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
21. 1941 год. Украина, первые месяцы оккупации.
22. Клещи - мутанты из Африки атакуют россиян.
23. Легенды мирового рока украсили фасады домов в елизаветино.
24. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
25. Всем садоводам нужно знать.
26. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
27. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
28. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
29. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
30. Пpoбовали caжать лук китaйским спocoбом?
31. Ли польза в кoмпоте ecть?
32. Как заставить замиокулькас активно выпускать новые побеги.
33. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
34. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
35. 28 kулинарных tohкостей на вec 3 олота.
36. Замиокулькас. Это следует сделать сразу после покупки.
37. Маринованные помидоры. Предлагаю рецепт помидорчиков.
38. В 2026 году в России ожидается волна сокращений персонала.
39. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
40. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
41. Пурпурная малина - настоящая Находка для вашего сада!
42. Розу из подаренного букета очень просто укoренить!
43. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
44. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
45. Малосольные помидорки по-армянски.
46. Срывать недозрелые плоды или ждать полной зрелости?
47. Чем подкармливать морковь в конце лета.
48. Подготовка почвы к новому сезону: без перекопки, но с пользой.
49. 3 популярных сорта жимолости.
50. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.