Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Крупный сбой Beget затронул работу сайтов рунета.
2. Был женат на японке 3 года.
3. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
4. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
5. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
6. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
7. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
8. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
9. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
10. Это не обычное варенье, где яблоки плавают в литре сиропа.
11. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
12. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
13. Что будет с землёй, если солнце внезапно исчезнет.
14. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
15. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
16. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
17. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
18. План для женщин, которые одиноки и ищут себе мужчину!
19. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
20. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
21. Когда-то давно у меня был кот с сумасшедшим характером.
22. С 1 сентября в России планируют обновить перечень медицинских специальностей.
23. Нарциссизм всё чаще связывают именно с генетикой.
24. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
25. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
26. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
27. Работа в кровати незаметно здоровье человека разрушает.
28. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
29. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
30. Всегда в путешествиях.
31. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
32. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
33. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
34. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
35. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
36. Дочь марии Шукшиной раскрыла боль семейных отношений.
37. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
38. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
39. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
40. Heжнeйший пирог 4 стакана.
41. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
42. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
43. Пpoще пpocтого! Никто не догадается как оно сделано!
44. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
45. 28 kулинарных tohкостей на вec 3 олота.
46. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
47. Аромат осени в банке - яблочное варенье с корицей.
48. Полезная свекольная аджика на зиму.
49. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
50. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.