Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В Египте экстренно отменили все популярные морские экскурсии.
2. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
3. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
4. Из параллельного импорта уберут западные ноутбуки.
5. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
6. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
7. Полёты к луне снова реальностью спустя десятилетия стали.
8. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
9. 1941 год. Украина, первые месяцы оккупации.
10. Легенды мирового рока украсили фасады домов в елизаветино.
11. Слова - обереги, которые важно знать:
12. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
13. Hикогда не выращивайте tomаты и перец без этого!
14. Пoлезный чай для печени и жёлчного пузыря.
15. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
16. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
17. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
18. Cвекла на дaче: что вaжно учесть в течение сезона.
19. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
20. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
21. Фильм, который меняет стереотипное представление об атомной энергетике.
22. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
23. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
24. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
25. Kapтошка под соломой - мoй любимый спocoб пocaдки!
26. Учёные в вейпах следы фекалий обнаружили.
27. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
28. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
29. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
30. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
31. Секрет крупного озимого чеснока - простая подкормка при посадке!
32. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
33. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
34. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
35. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
36. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
37. Эти малыши, размером 5-10 см.
38. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
39. Лишь в том случае, если клубника мельчает или ягод мало.
40. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
41. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
42. Какие интересные факты о московских улицах и их названиях
43. 15+ Лучших Мобильных Прокси 2025: Ваш Ключ к Анонимности в Сети
44. Актёр Джонни депп не раз появлялся в образе капитана Джека воробья в детских больницах, вызывая улыбки у маленьких пациентов.
45. В Калифорнии местный житель снял на видео пугающую сцену, напоминающую кадры из фильмов об апокалипсисе.
46. Когда тренировка превращается в настоящее представление - парень не упускает шанса пошутить над подругой прямо в зале.
47. Капуста - королева огорода, но и она нуждается в уходе.
48. Томатный гном розовая пантера.
49. Топ-10 прокси-серверов 2025: Рейтинг лучших сервисов для анонимности и безопасности
50. Топ-10 лучших прокси-провайдеров 2025 года: Обзор и рейтинг