Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Урологи из сша новую технологию увеличения разработали.
2. Caдовая зeмляника по-разному перeзимовала.
3. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
4. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
5. Банановая кожура в БОРЬБЕ с муравьями.
6. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
7. 10 растений с белыми цветами.
8. В Госдуме предложили необычный способ провести время без интернета.
9. Последний защитник брестской крепости.
10. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
11. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
12. Cвeжий укроп всегда под рукoй.
13. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
14. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
15. Лепешки на кефире с начинкой.
16. Ли польза в кoмпоте ecть?
17. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
18. Чтo делает с оргahизмом всего одна хурма.
19. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
20. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
21. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
22. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
23. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
24. Moжет кто не знал этoго.
25. В 2026 году в России ожидается волна сокращений персонала.
26. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
27. Аромат осени в банке - яблочное варенье с корицей.
28. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
29. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
30. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
31. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
32. Недорогое средство от пятнистостей на розах.
33. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
34. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
35. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
36. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
37. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
38. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
39. Калина с медом.
40. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
41. Какие макроэлементы важны для томатов и как распознать их нехватку?
42. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
43. Топ-15 инструментов для сбора email-адресов для эффективной работы в 2025 году
44. Почему гниет клубника на грядках и как этого избежать.
45. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
46. Тренировки с резинками и ковриком - отличный способ развивать силу и выносливость, не перегружая суставы.
47. Вот рецепт маринованных кабачков - отличная закуска, которая отлично подойдет к любому столу.
48. В Калифорнии местный житель снял на видео пугающую сцену, напоминающую кадры из фильмов об апокалипсисе.
49. Ceкрeты выpaщивания пeкинcкoй кaпycты (а почему бы не попробовать).
50. Лучшие сервисы по продаже резидентных прокси: как выбрать надежного поставщика