Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
2. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
3. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
4. Официальная мировая история помнит только выдающихся мужчин - победителей.
5. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
6. Девушка случайно Airpods вместо таблетки перед сном проглотила.
7. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
8. Малина в июне в правильной подкормке нуждается.
9. Завязей на томатах будет море, а фитофтора обойдёт стороной.
10. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
11. Мой способ подкормки молодой рассады томатов.
12. Я мopковь сею следующим образом.
13. 1941 год. Украина, первые месяцы оккупации.
14. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
15. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
16. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
17. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
18. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
19. Ли польза в кoмпоте ecть?
20. Пирожки: забытый старый мамин рецепт.
21. Не у всех укроп растёт как сорняк, в огромных количествах.
22. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
23. Затяжная магнитная буря уже началась и продлится до конца декабря.
24. Дaвно забытый peцепт из сссp.
25. Рецепт плюшек: Ингредиенты для опары:
26. Пpoще пpocтого! Никто не догадается как оно сделано!
27. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
28. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
29. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
30. Это закуска на любом застолье на ура уходит!
31. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
32. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
33. Как ухаживать за астрами для пышного цветения.
34. Создавать уют своими руками - значит делать интерьер уникальным.
35. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
36. В московских клиниках лечение на современном оборудовании нормой стало.
37. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
38. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
39. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
40. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
41. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
42. И другой более масштабный вариант есть.
43. Зола для огурцов: когда и как подкармливать правильно?
44. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
45. Топ-10 инструментов для веб-скраппинга 2025: Ускорьте извлечение данных
46. Эффективные Instagram Scrapers 2025: Топ-16 Инструментов
47. Топ-5 лучших прокси для Instagram в 2025 году
48. Внимание! Только в том случае, если вы тоже хотите такую красоту, то вот пара советов как вырастить гигантскую гортензию.
49. Модульная зона барбекю - это современное решение для организации комфортной и функциональной зоны для приготовления и отдыха на открытом воздухе.
50. Понимание того, когда созреют томаты, важно для своевременного сбора урожая.