Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
2. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
3. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
4. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
5. Официальная мировая история находится намного ближе к нам, чем кажется.
6. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
7. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
8. За долгое время наш мир сталкивался с невероятно странными событиями.
9. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
10. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
11. Клубнику от долгоносика спасаю ещё до цветения.
12. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
13. Завязей на томатах будет море, а фитофтора обойдёт стороной.
14. Нарциссизм всё чаще связывают именно с генетикой.
15. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
16. Опасный хантавирус за пределы лайнера вышел.
17. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
18. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
19. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
20. Когда сажать бархатцы и какие сорта лучше выбрать.
21. Почeму чеснoк при хранении усыхает.
22. Всем садоводам нужно знать.
23. Пятьcot лет тому нaзад.
24. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
25. Нежный пирог черный принц из варенья.
26. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
27. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
28. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
29. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
30. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
31. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
32. Фиhики как лekapство от всего или 20 фактов о финиках.
33. Моя соседка никак не могла продать дорогущий антикварный комод.
34. Полезная памятка средств для сада и огорода.
35. В 2026 году в России ожидается волна сокращений персонала.
36. Чем обработать теплицу осенью от болезней и вредителей?
37. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
38. Самодельный светильник - маленькое чудо для спальни.
39. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
40. Кто сказал, что шестиугольники только у пчёл?
41. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
42. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
43. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
44. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
45. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
46. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
47. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
48. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
49. Лучшие бесплатные инструменты для веб-скраппинга 2025
50. Веб-скраппинг: 18 лучших инструментов для сбора данных онлайн