Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Мы с мужем квартиру в старом двухэтажном доме купили.
2. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
3. Родила дочь в свой день рождения.
4. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
5. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
6. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
7. Американец с самым крошечным пенисом в мире на увеличение пошёл.
8. МРТ Плода показывает мозг и глаза сквозь кости черепа.
9. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
10. Депутат Горелкин слухи о блокировке Steam в России развеял.
11. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
12. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
13. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
14. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
15. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
16. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
17. Чем пoдкормить тoматы во время цветения для богатого урожая.
18. Я любовник замужней женщины.
19. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
20. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
21. Петербургские депутаты предложили изменить школьную программу полового воспитания.
22. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
23. Обычный поход в туалет потерей памяти закончился.
24. Подорожник на участке: пора проверять почву!
25. Здравствуйте, участники сообщества!
26. Моя мама очень долго болью в коленях мучилась.
27. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
28. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
29. Мой способ подкормки молодой рассады томатов.
30. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
31. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
32. Токсичное поведение на работе может стать причиной увольнения.
33. Никогда не выращивайте томаты и перец без этого!
34. Этой весной Россию накроет массовое нашествие комаров и клещей.
35. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
36. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
37. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
38. Вот так выглядит архитектура, когда пространства почти не осталось.
39. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
40. Эта комната не подстраивается под свет - она управляет им в реальном времени.
41. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
42. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
43. Помoщь для пeчени.
44. Moжет кто не знал этoго.
45. Формировать смородиновый куст можно как весной, так и осенью.
46. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
47. Морозостойкие сорта гибридной хурмы.
48. Клубника на подоконнике - аромат лета круглый год!
49. Полезная свекольная аджика на зиму.
50. Какие лилии могут зимовать в грунте!