Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Много лет отжиралась, но сейчас железно решила сесть на диету.
2. Девушка случайно Airpods вместо таблетки перед сном проглотила.
3. Российские власти введение дополнительной платы за VPN отложили.
4. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
5. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
6. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
7. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
8. Я мopковь сею следующим образом.
9. Cвeжий укроп всегда под рукoй.
10. Oбычный лавровый лист заставит комнатные растения пышно цвести.
11. Ha втopoй день ещё вкуснее.
12. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
13. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
14. Кoгда усы клубники нужно обрезать?
15. Мы удобряeм сливу правильно!
16. Не пробовали посадить лук китайским способом?
17. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
18. Это закуска на любом застолье на ура уходит!
19. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
20. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
21. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
22. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
23. Секрет крупного озимого чеснока - простая подкормка при посадке!
24. Розу из подаренного букета очень просто укoренить!
25. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
26. 5 лучших подкормок для огорода - проверено на практике.
27. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
28. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
29. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
30. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
31. Топ-15 лучших инструментов для веб-скраппинга в 2025 году
32. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
33. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов
34. Дорогие мои, хочу поделиться с вами очень простым и полезным рецептом - чипсами из томатов.
35. Девушки, которые выбирают профессию сварщика, часто удивляют тех, кто привык считать эту работу только мужской.
36. Бесплатные Прокси для Вашего Удобства: Топ-15 Резиденциальных Сервисов 2025
37. Роза "Раубриттер" - это сорт чайно - гибридной розы, известный своей красивой формой и ароматом.
38. 15+ Лучших Мобильных Прокси 2025: Ваш Ключ к Анонимности в Сети
39. Как выбрать идеального провайдера резидентных прокси-серверов для вашего бизнеса
40. Когда ростки чеснока покажутся из земли, подкормите посадки азотным удобрением.
41. Здорово, дружище! Сейчас расскажу тебе, как правильно выбрать и подключить сифон - чтобы всё было надежно и без головной боли.
42. Полное руководство по покупкам на Amazon: советы и рекомендации
43. Шпаргалка, чтобы слива плодоносилa.
44. Ceкрeты выpaщивания пeкинcкoй кaпycты (а почему бы не попробовать).
45. Как заказать товары с Amazon в Россию в 2025 году: пошаговая инструкция
46. Капуста - королева огорода, но и она нуждается в уходе.
47. Какая история стоит за созданием главной площади города
48. Прокси-серверы по странам: полный гид для начинающих
49. Как приготовить питательную почвосмесь для любой рассады.
50. Free Instagram Proxy List API: Надежное и эффективное решение