Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Не забудьте накидать снега в теплицу.
2. Подсoлнечник декoративный многолетний Максимилиана (Helianthus Maximiliani) "Золотая Гирлянда".
3. Чиж & Co Новосибирск: История успеха
4. Лучшие инструменты для веб-скрейпинга в 2025 году
5. Прокси-серверы Instagram 2025 года: лучшие решения для безопасной работы в социальных сетях
6. Unlock the Power of Instagram with 75 Million Highest Quality Proxies
7. Unlock the Power of Instagram with These 15 Proxy Sites
8. Unlocking the Potential of Instagram Proxies: Top 10 Best Choices for 2024
9. The Ultimate Guide to the Top 15 Web Scraping Tools for 2024
10. The Top 7 Web Scraping Tools to Use in 2024
11. Безопасно парсить: основные меры предосторожности для Python-разработчиков
12. Url автоматической настройки прокси серверов. Параметры соединения в Firefox
13. Как настроить и активировать прокси-сервер. Что такое прокси-сервер?
14. Как запустить программу или игру через прокси сервер. Настройка программы Proxifier
15. 7 best Social Media & TikTok Scraping Tools for 2023. Social Media Scraping Tools Explained
16. Comparison of popular Web scraping API services. What to consider when scraping the Web?
17. Top 30 free Web scraping Software in 2023. ScrapeHero Cloud
18. Maximize Your TikTok Shares with These Top 20 Bots
19. 19+ TikTok Bots to Boost Your Shares and Engagement
20. В чем разница между Proxy-сервером и vpn. В чем разница между прокси-сервером и VPN?
21. В чем разница между впн и прокси. Особенности подключения через прокси.
22. Amazon FBM and Seller Fulfilled Prime. Find Out the Fastest Fulfillment Method
23. Amazon FBM и Seller Fulfilled Prime.. How to sell on Amazon Prime
24. Написание телеграм-бота на Python. Почему webhook
25. Unlock the Power of TikTok: Boost Your Profile with These Top 3 View Bots in 2024
26. Лучшие сервисы автоматизации TikTok ботов 2024: как они могут помочь вашему бизнесу
27. Новичкам в Telegram: Как подключить прокси к Python боту с помощью TOR
28. Эффективные способы обхода капчи с помощью Python
29. Восхождение арбитража трафика: почему он стал одним из самых популярных методов монетизации в интернете
30. Топ-10 необходимых инструментов для успешного старта в арбитражном трейдинге в 2024 году
31. Unlocking the Power of TikTok Bots: The Top 9 to Help You Go Viral Now
32. Как быстро и эффективно осуществить поиск в таблице по названию столбца
33. Способы обойти блокировку в Телеграмме: подробное руководство
34. Прокси-сервер для Windows 10: все, что нужно знать для настройки
35. Закружилось завертелось ….
36. В Самаре девушка, дочь известного директора парка развлечений, ищет своего избранника.
37. Аромат весны и немного магии боке от старичка Meyer - Optik Oreston 50mm.
38. Чистка зубов вашего пса - это, скорее всего, занятие, которого боится как ваша собака, так и вы.
39. Фотограф: Аlеksееv Piсturеs. Нежная весенняя фотосессия в деревне в золотой час может быть очаровательным и романтичным опытом.
40. Фотограф: Елена Архипова.
41. Валерия и Артем Чекалины казались идеальной семьей, однако теперь супруги разводятся и делят имущество.
42. Фотограф Sarah Baumgartner считает, что фото снятые самым ранним утром обладают особой магией.
43. Дидье Дешам о выборе состава сборной Франции: «Барколя – игрок с большим потенциалом»
44. "Клоунвилль/Clownville". Пугающий фотопроект французского фотографа Eolo Perfido.
45. Хаби Алонсо ответил на вопросы о своем будущем
46. Туманное утро. Будьте внимательны и старайтесь отмечать для себя интересные места в городе.
47. "Не Насилуй Душу не Своей Профессией".
48. Фотограф Константин шамин историей создания этого ночного пейзажного снимка делится.
49. Фотограф: Альбина русских.
50. Стильный дизайн квартиры.