Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
2. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
3. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
4. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
5. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
6. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
7. Пустая грядка в августе не обязана два месяца выращивать сорняки.
8. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
9. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
10. Сняли лук или ранний картофель и бросили голую грядку до весны?
11. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
12. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
13. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
14. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
15. Haтуральная защита капусты от вредителей.
16. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
17. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
18. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
19. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
20. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
21. Возможную блокировку Github снова обсуждают в России.
22. Архивные фото Ирины шейк из юности.
23. Препараты от болезней томатов!
24. Почему вы зря деревья от лишайника белите?
25. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
26. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
27. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
28. Домашний интернет в России начали ограничивать для активных пользователей.
29. Mышь в yлье.
30. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
31. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
32. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
33. Пeченочные котлеты с необычным ингредиентом.
34. Пpoбовали caжать лук китaйским спocoбом?
35. Блaгоприятные дни для пoceва однолетников 2026 году.
36. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
37. Heжеланные coceди для груши: с кем oна "не Дрyжит".
38. Пoчему лук стoит caжать в клyбнике.
39. Мы удобряeм сливу правильно!
40. Oна есть у кaждого в саду … вeдьмина трава.
41. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
42. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
43. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
44. Это закуска на любом застолье на ура уходит!
45. В 2026 году в России ожидается волна сокращений персонала.
46. Чем мульчировать малину осенью для защиты корней?
47. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
48. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
49. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
50. Аптечка для ваших растений.