Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
2. Исследование рост половой дисфункции среди молодого поколения показало.
3. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
4. Mышь в yлье.
5. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
6. Hикогда не ставьте забор обратной стороной к соседу!
7. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
8. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
9. Стильное оформление квартиры.
10. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
11. Этот пирог лучше, чем торт и вкуснее кекса.
12. Как правильно ухаживать за фиалками.
13. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
14. Врачи о бесполезности популярных бадов с коллагеном заявили.
15. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
16. Лучший способ хранения чеснока.
17. Полезная свекольная аджика на зиму.
18. Сердце в словах: почему мы так любим любовные романы
19. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
20. Маленькие, но важные детали делают интерьер особенным.
21. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
22. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
23. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
24. Как спасти огурцы от мучнистой росы.
25. Лето без арбуза и дыни - не лето!
26. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
27. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
28. И другой более масштабный вариант есть.
29. Какие инструменты для веб-скраппинга с ИИ самые эффективные? Мой опыт
30. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
31. Топ-10 инструментов для веб-скраппинга 2025: Ускорьте извлечение данных
32. Дорогие мои, хочу поделиться с вами очень простым и полезным рецептом - чипсами из томатов.
33. ТОП-18 лучших прокси для Telegram 2025
34. Когда ростки чеснока покажутся из земли, подкормите посадки азотным удобрением.
35. Белки - очень активные создания, но даже у них есть время для отдыха.
36. Anonymous Free Proxy List: как оставаться анонимным в интернете
37. Как заказать товары с Amazon в Россию: полное руководство
38. Народные методы избавления от травы на садовых дорожках:
39. Инуиты - коренные жители Арктики, населяющие Гренландию, север Канады, Аляску и некоторые районы России.
40. Полное руководство: как начать продавать на Amazon и других платформах
41. Полное руководство: как заказывать товары с Amazon в Россию
42. Прокси-серверы по странам: полный гид для начинающих
43. Чтобы укроп дружно взошёл и рос без зонтов - его нужно правильно подкормить.
44. Лучшие сервисы по продаже мобильных прокси: рейтинг и обзор
45. Прокси-серверы для Instagram: как защитить свой аккаунт и сохранить анонимность
46. Дачный уличный туалет - неотъемлемая часть комфорта и удобства, особенно для тех, кто проводит много времени на даче или загородном участке.
47. Билеты Zoloto в Хабаровске: что нужно знать фанатам
48. Ученые определили идеал женской красоты: кто же она
49. Секреты звёзд: как они сохраняют идеальную фигуру
50. Какие современные развлекательные комплексы есть в Рязани