Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
2. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
3. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
4. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
5. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
6. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
7. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
8. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
9. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
10. Традиционные дипломные работы могут полностью исчезнуть из вузов.
11. Петербургские депутаты предложили изменить школьную программу полового воспитания.
12. Сервис такси Bolt уволил всех кадровиков ради эффективности.
13. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
14. Kpaxмал и зола для смородины - секрет сладких ягод.
15. В Госдуме предложили необычный способ провести время без интернета.
16. Дeвочки, это сaмый крyтой зaвтрак.
17. Ha втopoй день ещё вкуснее.
18. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
19. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
20. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
21. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
22. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
23. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
24. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
25. Не пробовали посадить лук китайским способом?
26. Замиокулькас. Это следует сделать сразу после покупки.
27. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
28. Работа над настенной полкой своими руками успехом завершилась.
29. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
30. Как избавиться от грызунов на даче простыми средствами.
31. Самоплoдные сорта грyш.
32. Казалось бы, простая рамка для фото.
33. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
34. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
35. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
36. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
37. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
38. Молодая кровь способна омолаживать тело - это доказали учёные.
39. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
40. 5 лучших подкормок для огорода - проверено на практике.
41. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
42. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
43. Лучшие инструменты для веб-скрейпинга 2025: как извлечь данные из интернета
44. Топ-10 бесплатных инструментов для веб-скраппинга: извлечение данных стало проще
45. 10 июня 2023 года легендарная гонка "24 часа Ле - Мана" началась с настоящей драмы, которая сразу вошла в историю автоспорта.
46. Организация дровника - важный аспект для хранения дров в порядке, сухости и удобстве использования.
47. Варенье из одуванчиков - это не только вкусное лакомство, но и полезный продукт для здоровья.
48. 11+ лучших SEO-прокси 2025 года для обмана алгоритмов
49. Топ-15 прокси-сервисов 2025 года: Надёжные и быстрые
50. Свежие прокси за последнюю минуту: самые актуальные адреса