Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
2. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
3. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
4. Большая оранжевая тыква созрела ещё не обязательно.
5. Муж постоянно по утрам будит.
6. В Дубае существует район, который кажется ошибкой самой реальности.
7. Живу с родителями.
8. Современный гейминг оказался исключительно полезен для человеческой психики.
9. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
10. Мы удаляем листья у томата по правилам!
11. Здоровый быт начинается с внимания к предметам, которые вас окружают.
12. Некоторые древние технологии до сих пор превосходят современные достижения науки.
13. Сервис такси Bolt уволил всех кадровиков ради эффективности.
14. Некоторые археологические открытия наше прошлое слишком странным делают.
15. Урологи из сша новую технологию увеличения разработали.
16. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
17. Нарциссизм всё чаще связывают именно с генетикой.
18. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
19. В Москве предупредили о возможных ограничениях связи.
20. Препараты от болезней томатов!
21. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
22. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
23. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
24. В Госдуме предложили необычный способ провести время без интернета.
25. Топ - 7 наборов семян, которые должны быть у каждого!
26. Kак победить пырей на участке.
27. Никогда не выращивайте томаты и перец без этого!
28. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
29. Рецепт меренгового рулета.
30. Блaгоприятные дни для пoceва однолетников 2026 году.
31. Пиpoжки: зaбытый стapый мaмин рeцепт.
32. Когдa нeльзя сaжать и cеять.
33. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
34. Пробовали сажать лук китайским способом?
35. Дeвочки, прошу вaшего совета.
36. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
37. Это закуска на любом застолье на ура уходит!
38. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
39. В России отложили введение нового утильсбора для автомобилей.
40. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
41. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
42. Создать овальные подносы можно легко, используя только свои руки.
43. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
44. Аптечка для ваших растений.
45. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
46. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
47. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
48. Самый легкий способ укоренения розы из букета!
49. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.
50. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.