Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Эффективные Instagram Scrapers 2025: Топ-16 Инструментов
2. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.
3. Как правильно скрапить Instagram в 2025: Полное руководство
4. Эффективная универсальная подкормка для всех Видов цветов.
5. 11+ лучших SEO-прокси 2025 года для обмана алгоритмов
6. Топ-18 прокси для TikTok 2025: Работа, анонимность, доступ
7. Свежие прокси за последнюю минуту: самые актуальные адреса
8. Как бороться с сорняками на клумбах.
9. Дорогие мои, вот что нужно для вкусной редиски с ароматными специями:
10. Полное руководство: как начать продавать на Amazon и других платформах
11. Лучшие вращающиеся резидентные прокси 2025 года: рейтинг и обзор
12. Какие места лучше всего подходят для фотографий
13. Список лучших бесплатных proxy серверов: безопасность и анонимность
14. ТОП-5 лучших провайдеров прокси на 2025 год
15. Специалисты назвали идеальные пропорции женской фигуры
16. Лучшие товары для продажи на Amazon FBA: полное руководство
17. Как быстро найти прибыльные товары для Amazon FBA: полное руководство
18. Headlines:
19. Премиум Прокси: Топ-7 Лучших Вариантов для Безопасного Серфинга
20. Топ-50 лучших провайдеров residential прокси на 2025 год
21. Какие фестивали и праздники проводятся в Перми
22. Энергия сцены: как выступления 'ПолнаЛюбви' завораживают зрителей
23. Арбитраж для начинающих: как начать без вложений
24. Top 5 Data Scraping Tools for Any Website in 2025
25. Maximizing Your Internet Experience with Proxifier 4.12 Crack
26. Unlock the Full Potential of Proxifier 5.2 with Our Free Crack and Registration Key Download
27. Балийское утро. B + W Nd110 1000x.
28. Top 10 Web Scraping APIs to Watch in 2025
29. Maximize Your Instagram Presence with These Top 10 Proxies for 2025
30. В качестве натуральной витаминной добавки очень хорошо принимать так называемую "Пасту Амосова".
31. Unleashing the Power of Instagram Proxies: A Comprehensive Guide for 2025
32. Maximizing Your Instagram Experience with the Top 15 Proxies of 2025
33. Самый вкусный рeцепт!
34. Unlocking the Power of YouTube: The Top 10 Proxies for 2024
35. Лучшие инструменты и сервисы для веб-сканирования 2023 года
36. Лучшие бесплатные инструменты веб-скрейпинга для 2024 года: рейтинг
37. The Ultimate Guide to Python Web Scraping Libraries and Tools in 2024
38. 21 Best FREE Residential Proxy Server Service. 10+ Best Free Online Proxy Server List of 2023 [VERIFIED]
39. The Top TikTok Tools to Watch in 2024
40. Создаем Telegram-бот и подключаем его к api Google Drive. How to transfer files to Google Drive using Telegram bot
41. Разоблачение рынка фальшивых отзывов на Amazon: как это повлияет на потребителей и продавцов
42. Не работает telegram бот на python?
43. Установка и настройка proxy на VPS · Atnimak`s journey. Как создать прокси
44. The Top 3 TikTok Bots That Are Still Going Strong in 2024
45. Настройка рабочего окружения на Windows для работы с Python. ПО позволяющее создавать виртуальное окружение
46. The 10 Best web Scraping proxy services in 2023. Smartproxy – Best for Scraping Purposes
47. 7 best Social Media & TikTok Scraping Tools for 2023. Social Media Scraping Tools Explained
48. 5 best Google Scholar APIs and Proxies for 2023. API, EULA, and scraping for Google Scholar
49. 10 best Proxy APIs for scraping. Best Proxy APIs of 2023
50. Прокси для парсинга Yandex Wordstat. Прокси спасает от рутины на 100+ часов: мини-кейс простого рабочего