Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Привычные повседневные продукты от потребителей свою темную историю скрывают.
2. Лиcтья свернулись и побелели после высадки в теплицу.
3. Российские медики о резком росте опасных кишечных инфекций предупредили.
4. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
5. Что я делаю с чесноком, чтобы он снова стал зелёным.
6. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
7. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
8. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
9. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
10. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
11. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
12. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
13. Токсичное поведение на работе может стать причиной увольнения.
14. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
15. Всем садоводам нужно знать.
16. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
17. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
18. Самые полезные виды варенья.
19. Дочь марии Шукшиной раскрыла боль семейных отношений.
20. Нашатырь можно как хорошую подкормку для лука использовать.
21. Очищение сосудов головного мозга.
22. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
23. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
24. Как правильно подкармливать пионы чтобы они пышно цвели.
25. Насыпной пирог с творожной начинкой.
26. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
27. Лучший способ хранения чеснока.
28. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
29. Уже давно делаю по этому рецепту!
30. Работа над настенной полкой своими руками успехом завершилась.
31. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
32. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
33. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
34. Калина с медом.
35. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
36. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
37. Лето без арбуза и дыни - не лето!
38. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
39. Топ-10 лучших бесплатных инструментов для веб-скраппинга в 2025 году
40. Топ-12 прокси для Minecraft 2025: играйте без лагов и наслаждайтесь гладкой игрой
41. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию:
42. 11+ лучших SEO-прокси 2025 года для обмана алгоритмов
43. 8 Лучших Прокси для Безопасного Серфинга в 2025
44. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.
45. Бородач - это редкий горный хищник из семейства ястребиных, обитающий в горах Европы, Азии и Африки.
46. Интересные факты о Владивостоке, которые вы, возможно, не знали
47. Как заказать товары с Amazon в Москву: полное руководство
48. Капуста - королева огорода, но и она нуждается в уходе.
49. Какие современные технологии используются в музеях Курска
50. 15 супер - рецептов из помидоров.