Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Большая оранжевая тыква созрела ещё не обязательно.
2. Муж постоянно по утрам будит.
3. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
4. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
5. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
6. Уже нет сил постоянно ругаться со свекровью.
7. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
8. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
9. Официальная мировая история помнит только выдающихся мужчин - победителей.
10. Haтуральная защита капусты от вредителей.
11. Экзамен по философии сдавала.
12. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
13. Что я делаю с чесноком, чтобы он снова стал зелёным.
14. С 1 сентября в России планируют обновить перечень медицинских специальностей.
15. Я не люблю формулировку "мы Встречаемся".
16. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
17. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
18. Ваши вопросы: пожелтела совсем туя после зимы.
19. Kaк подкармливать перец для щедрого урожая.
20. Топ - 10 теневыносливых растений для вашего сада.
21. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
22. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
23. Домашний интернет в России начали ограничивать для активных пользователей.
24. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
25. Фунчоза с овощами.
26. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
27. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
28. Пeченочные котлеты с необычным ингредиентом.
29. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
30. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
31. Пирожки: забытый старый мамин рецепт.
32. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
33. Их форма, цвет и даже расположение никогда не бывают случайными.
34. Топ - 5 самых неприхотливых сортов перца.
35. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
36. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
37. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
38. Давайте мы приготовим вкуснейшую аджику из cлив.
39. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
40. Вкусный и ароматный салат "Парамониха" из свежих овощей.
41. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
42. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
43. Секс помогает улучшать память - к такому выводу пришли американские учёные.
44. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
45. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
46. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
47. Как понять, что тыква созрела?
48. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
49. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
50. Что такое веб-скрейпинг в 2025 году: Основные области применения