Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Сервис такси Bolt уволил всех кадровиков ради эффективности.
2. Мой личный лайфхак относительно учёбы.
3. Совет по рассаде томатов.
4. Топ - 10 теневыносливых растений для вашего сада.
5. Мой способ подкормки молодой рассады томатов.
6. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
7. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
8. Топ - 7 наборов семян, которые должны быть у каждого!
9. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
10. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
11. "Tы понимаешь, что тебя уже нет?
12. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
13. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
14. Сыплю под Смородину весной по две ложки.
15. Она растёт в каждом саду и называется ведьмина трава.
16. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
17. Пирожки: забытый старый мамин рецепт.
18. Эта комната не подстраивается под свет - она управляет им в реальном времени.
19. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
20. Caлат с куpицeй и aнанасами.
21. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
22. Как правильно подкармливать пионы чтобы они пышно цвели.
23. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
24. Вмecто тыcячи слов.
25. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
26. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
27. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
28. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
29. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
30. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
31. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
32. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
33. Эти малыши, размером 5-10 см.
34. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
35. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
36. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
37. Какие макроэлементы важны для томатов и как распознать их нехватку?
38. Топ-10 открытых веб-кравлеров 2025 года: выбор для каждого
39. Топ-10 инструментов для веб-скраппинга 2025: Ускорьте извлечение данных
40. Роза "Раубриттер" - это сорт чайно - гибридной розы, известный своей красивой формой и ароматом.
41. Тренировка задолго до старта начинается.
42. Полное руководство: как начать продавать на Amazon и других платформах
43. Посетители вулкана спускаются вниз, когда на Этне началось извержение.
44. Ceкрeты выpaщивания пeкинcкoй кaпycты (а почему бы не попробовать).
45. Капуста - королева огорода, но и она нуждается в уходе.
46. Какие современные технологии используются в музеях Курска
47. Ирис германский рио - роскошный бородатый ирис с крупными цветами.
48. Какие спортивные мероприятия проводятся в парках Москвы
49. Интересные факты о Москве, которые вы не знали
50. Топ-13 Прокси-Сервисов для Безопасного Серфинга в Сети