Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
2. Добрый день! Вдруг кто с подобным … сталкивался.
3. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
4. Некоторые древние технологии до сих пор превосходят современные достижения науки.
5. Петербургские депутаты предложили изменить школьную программу полового воспитания.
6. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
7. Завязей на томатах будет море, а фитофтора обойдёт стороной.
8. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
9. Моя мама очень долго болью в коленях мучилась.
10. Архивные фото Ирины шейк из юности.
11. Почему обеспеченные люди реже приложения для знакомств выбирают.
12. Мой способ подкормки молодой рассады томатов.
13. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
14. Горсть миндаля в день может заметно улучшить состояние кожи.
15. Чем подкормить рассаду перца для мощных корней.
16. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
17. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
18. Когдa нeльзя сaжать и cеять.
19. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
20. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
21. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
22. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
23. Caлат "Мaкcим". Ингредиенты:
24. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
25. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
26. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
27. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
28. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
29. В России отложили введение нового утильсбора для автомобилей.
30. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
31. Недорогое средство от пятнистостей на розах.
32. Малосольные помидорки по-армянски.
33. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
34. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
35. Аптечка для ваших растений.
36. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
37. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
38. Лучшие инструменты для веб-скрейпинга 2025: как извлечь данные из интернета
39. Лучший инструмент для веб-скраппинга: как извлечь данные из интернета в 2025 году
40. Ренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
41. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.
42. Упорные тренировки в зале сильно меняют девушек как внешне, так и внутренне.
43. Немного о борьбе с борщевиком.
44. Тандыр - традиционная печь для приготовления пищи, широко использующаяся в центральной Азии и на ближнем Востоке.
45. Какова история Собора Александра Невского в Йошкар-Оле
46. Как приготовить питательную почвосмесь для любой рассады.
47. Какие спортивные мероприятия проводятся в парках Москвы
48. Как сделать самим вкусную наливку.
49. Лучшие бесплатные прокси-серверы 2025 года: Надежность и скорость
50. Интересные факты о Москве, которые вы не знали