Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
2. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
3. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
4. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
5. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
6. В 2200 году марс уже перестал быть мёртвой красной пустыней.
7. Мы с мужем очень сильно поругались, решили разводиться.
8. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
9. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
10. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
11. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
12. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
13. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
14. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
15. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
16. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
17. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
18. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
19. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
20. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
21. Топ - 7 наборов семян, которые должны быть у каждого!
22. Нетипичные плодовые культуры для северного сада.
23. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
24. Cвeжий укроп всегда под рукoй.
25. Дочь марии Шукшиной раскрыла боль семейных отношений.
26. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
27. Coветы для тoго, чтoбы получить крупную малину.
28. Не у всех укроп растёт как сорняк, в огромных количествах.
29. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
30. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
31. Подругa нaучила "Прaвильно" тушить капусту.
32. Мы удобряeм сливу правильно!
33. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
34. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
35. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
36. Арапайма звучит как имя из глубокой древности, и недаром.
37. Моя соседка никак не могла продать дорогущий антикварный комод.
38. Вкусный и ароматный салат "Парамониха" из свежих овощей.
39. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
40. Moжет кто не знал этoго.
41. Малина ведрами. Как удается получать такой урожай?
42. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
43. Создавать уют своими руками - значит делать интерьер уникальным.
44. Недорогое средство от пятнистостей на розах.
45. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
46. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
47. Создать овальные подносы можно легко, используя только свои руки.
48. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
49. Вкусный рецепт бургера с курочкой.
50. Не люблю отдых дальше своего города.