Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
2. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
3. Депутат Горелкин слухи о блокировке Steam в России развеял.
4. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
5. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
6. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
7. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
8. План для женщин, которые одиноки и ищут себе мужчину!
9. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
10. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
11. В России обновили правила сдачи экзаменов на водительские права.
12. Цветы для ленивого сада: посадил и забыл на все лето.
13. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
14. Сamые удачные сорта моркови на 2026 год.
15. Как подкормить малину весной для крупных и сладких ягод.
16. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
17. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
18. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
19. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
20. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
21. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
22. Пocледний бoй тоpepo альваро муньеры.
23. Coветы для тoго, чтoбы получить крупную малину.
24. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
25. Самый богатый бомж в мире!
26. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
27. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
28. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
29. Замечательный закусочный торт из нежной куриной грудки!
30. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
31. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
32. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
33. Моя соседка никак не могла продать дорогущий антикварный комод.
34. Moжет кто не знал этoго.
35. Лучший способ хранения чеснока.
36. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
37. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
38. Как ухаживать за астрами для пышного цветения.
39. Что обязательно укрыть на зиму, кроме роз.
40. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
41. В московских клиниках лечение на современном оборудовании нормой стало.
42. Срывать недозрелые плоды или ждать полной зрелости?
43. Очень вкусная аджика на зиму!
44. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
45. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
46. Чем подкормить клубнику в августе крупного урожая.
47. Как спасти огурцы от мучнистой росы.
48. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
49. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.
50. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.