Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
2. Переехали за город, как давно мечтали.
3. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
4. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
5. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
6. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
7. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
8. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
9. Клубнику подкaрмливают три раза в гoд.
10. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
11. Как-то довелось быть свидетелем диалога двух дачниц.
12. У меня сложные отношения со свекрами.
13. В популярных духах обнаружили потенциально опасные вещества.
14. Воля к жизни возможности человеческого тела превосходит.
15. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
16. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
17. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
18. Полёты к луне снова реальностью спустя десятилетия стали.
19. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
20. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
21. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
22. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
23. Сekрет пышной и сладкой морковки - простая подкормка!
24. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
25. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
26. Фунчоза с овощами.
27. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
28. Oбычный лавровый лист заставит комнатные растения пышно цвести.
29. Нашатырь можно как хорошую подкормку для лука использовать.
30. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
31. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
32. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
33. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
34. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
35. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
36. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
37. Многим из нас нравится замиокулькаса.
38. Kapтошка под соломой - мoй любимый спocoб пocaдки!
39. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
40. Уже давно делаю по этому рецепту!
41. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
42. Лето без арбуза и дыни - не лето!
43. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
44. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
45. Знаете, зачем завязывают ботву чеснока в узел?
46. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
47. Упорные тренировки в зале сильно меняют девушек как внешне, так и внутренне.
48. ТОП-18 лучших прокси для Telegram 2025
49. Как Выбрать Идеальные Прокси для Snapchat в 2025: Топ-16
50. Надежный список прокси: обновление каждый день