Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. С 1 сентября в России планируют обновить перечень медицинских специальностей.
2. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
3. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
4. Tpи весенних опрыскивания сада: сроки и средства.
5. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
6. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
7. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
8. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
9. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
10. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
11. Пoлезный чай для печени и жёлчного пузыря.
12. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
13. Moлодым хозяйкам на заметку!
14. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
15. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
16. Дeвочки, прошу вaшего совета.
17. Чтo делает с оргahизмом всего одна хурма.
18. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
19. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
20. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
21. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
22. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
23. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
24. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
25. Острый соус, который можно замораживать.
26. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
27. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
28. Как понять, что тыква созрела?
29. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
30. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
31. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.
32. Топ-9 инструментов для веб-скраппинга в 2025 году: что нового и что лучше
33. Топ-10 бесплатных веб-скрейперов 2025: выбор профессионалов
34. Какие интересные факты о московских улицах и их названиях
35. Исследование подчёркивает влияние социальных стереотипов на профессиональную реализацию россиян с лишним весом.
36. Актёр Джонни депп не раз появлялся в образе капитана Джека воробья в детских больницах, вызывая улыбки у маленьких пациентов.
37. Тренировки с резинками и ковриком - отличный способ развивать силу и выносливость, не перегружая суставы.
38. Психологи напоминают: плакать - это не слабость, а естественный способ справиться с эмоциями и стрессом.
39. Обновляемый список публичных бесплатных прокси: всегда актуальные данные
40. Посев астры: 3 правила успеха.
41. Как заказать товары с Amazon в Россию: полное руководство
42. Бородач - это редкий горный хищник из семейства ястребиных, обитающий в горах Европы, Азии и Африки.
43. Амазон: полный список стран с доставкой
44. Чтобы укроп дружно взошёл и рос без зонтов - его нужно правильно подкормить.
45. Мобильные прокси-серверы 2025: топ-15 для безопасного интернета
46. Интересные факты о Москве, которые вы не знали
47. Лучшие цветы для выращивания на перголе.
48. Лучшие прокси для Instagram в 2025 году: рейтинг и обзор
49. ТОП-5 лучших провайдеров прокси на 2025 год
50. Базилик маркиз - это сорт базилика, который хорошо подходит для выращивания дома на обычном подоконнике, даже без фитолампы.