Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
2. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
3. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
4. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
5. Будьте осторожны на участках и во время отдыха на природе.
6. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
7. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
8. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
9. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
10. Из параллельного импорта уберут западные ноутбуки.
11. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
12. Советы дачникам. * Борная кислота:
13. Полёты к луне снова реальностью спустя десятилетия стали.
14. В Госдуме предложили необычный способ провести время без интернета.
15. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
16. Чем подкормить рассаду перца для мощных корней.
17. Moй споcoб подкopмки мoлодой рассады тoматов.
18. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
19. Нетипичные плодовые культуры для северного сада.
20. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
21. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
22. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
23. Самые полезные виды варенья.
24. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
25. Hикогда не ставьте забор обратной стороной к соседу!
26. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
27. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
28. Сaлат с копченой курицей.
29. Как заставить замиокулькас активно выпускать новые побеги.
30. Маринованные помидоры с морковной ботвой.
31. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
32. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
33. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
34. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
35. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
36. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
37. Как правильно подкармливать пионы чтобы они пышно цвели.
38. Арапайма звучит как имя из глубокой древности, и недаром.
39. В России отложили введение нового утильсбора для автомобилей.
40. С утра иногда так хочется выпить ароматного бодрящего кофе.
41. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
42. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
43. Не люблю отдых дальше своего города.
44. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
45. Защита от муравьев.
46. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
47. Лучшие инструменты для веб-скраппинга в 2025 году: что нужно знать
48. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
49. Какие интересные факты о московских улицах и их названиях
50. 15+ Лучших Мобильных Прокси 2025: Ваш Ключ к Анонимности в Сети