Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Должны были с женой и родителями лететь на свадьбу сестры.
2. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
3. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
4. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
5. Сезон клубники в самом разгаре!
6. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
7. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
8. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
9. Проект за 200 миллионов долларов превратился в странный город - призрак.
10. Мой способ подкормки молодой рассады томатов.
11. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
12. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
13. Обычный лавровый лист заставит комнатные растения пышно цвести.
14. Дочь марии Шукшиной раскрыла боль семейных отношений.
15. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
16. Самый возрастной ветеран великой отечественной войны умер.
17. Яблоки очень уникальный продукт.
18. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
19. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
20. Пpoще пpocтого! Никто не догадается как оно сделано!
21. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
22. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
23. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
24. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
25. Моя соседка никак не могла продать дорогущий антикварный комод.
26. Насыпной пирог с творожной начинкой.
27. Давайте мы приготовим вкуснейшую аджику из cлив.
28. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
29. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
30. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
31. Клубника на подоконнике - аромат лета круглый год!
32. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
33. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
34. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
35. Подготовка почвы к новому сезону: без перекопки, но с пользой.
36. Саженцы яблонь. Какие выбрать.
37. Не люблю отдых дальше своего города.
38. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
39. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
40. Как спасти огурцы от мучнистой росы.
41. Перед шоу Дронов в Катаре тщательная подготовка проходит.
42. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
43. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
44. Топ-8 библиотек для веб-скраппинга на Python в 2025: что лучше выбрать
45. Лучшие инструменты для веб-скраппинга в 2025 году: что нужно знать
46. Топ-11 лучших инструментов для веб-скраппинга в 2025 году
47. Топ-10 лучших бесплатных мгновенных данных
48. Альпинисты, которые покоряют снежные и высокие горы, всегда рискуют многим.
49. Эффективная универсальная подкормка для всех Видов цветов.
50. Женский реслинг - это не просто шоу, а серьёзная работа, требующая силы, выносливости и сцены.