Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
2. Муж постоянно по утрам будит.
3. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
4. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
5. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
6. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
7. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
8. В нашей семье все склонны к полноте.
9. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
10. Хроническая бедность способна значительно ускорять естественное старение организма.
11. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
12. Привычные повседневные продукты от потребителей свою темную историю скрывают.
13. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
14. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
15. Haтуральные стимуляторы образования корней.
16. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
17. Цветы для ленивого сада: посадил и забыл на все лето.
18. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
19. Здравствуйте, oбращаюсь анoнимнo.
20. Всегда в путешествиях.
21. Почему нужно срезать верхушки у яблонь.
22. Одни из первых протезов использовали ещё в эпоху древнего Рима.
23. Полёты к луне снова реальностью спустя десятилетия стали.
24. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
25. Никогда не выращивайте томаты и перец без этого!
26. Этой весной Россию накроет массовое нашествие комаров и клещей.
27. Нашатырь можно как хорошую подкормку для лука использовать.
28. Mинтай можно без особого труда приготовить вкусно.
29. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
30. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
31. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
32. На заметку садоводам.
33. Маринованные помидоры с морковной ботвой.
34. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
35. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
36. Как правильно ухаживать за фиалками.
37. Россиян ожидает резкое повышение тарифов на электроэнергию.
38. Чем обработать теплицу осенью от болезней и вредителей?
39. А вы знали, что если у девушки долго не было Seksa, то она ….
40. Розу из подаренного букета очень просто укoренить!
41. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
42. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
43. И другой более масштабный вариант есть.
44. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
45. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
46. Топ-10 инструментов для сбора данных: лучшие сервисы для веб-скраппинга
47. Упорные тренировки в зале сильно меняют девушек как внешне, так и внутренне.
48. Какие интересные факты о московских улицах и их названиях
49. Почему гниет клубника на грядках и как этого избежать.
50. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию: