Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
2. Пробовали сажать лук китайским способом?
3. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
4. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
5. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
6. Kapтошка под соломой - мoй любимый спocoб пocaдки!
7. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
8. Мощный шторм на Москву надвигается.
9. Разбираемся как бороться с червяками на малине.
10. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
11. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
12. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
13. 5 секретов обильного урожая огурцов.
14. Очень вкусная аджика на зиму!
15. Подготовка почвы к новому сезону: без перекопки, но с пользой.
16. Какие макроэлементы важны для томатов и как распознать их нехватку?
17. Three Russian Headlines:
18. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
19. Топ-7 AI-инструментов для веб-скрапинга в 2025 году
20. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.
21. 15+ Лучших Мобильных Прокси 2025: Ваш Ключ к Анонимности в Сети
22. Топ-15 сервисов для роста в Instagram 2025: Рейтинг лучших инструментов
23. Психологи напоминают: плакать - это не слабость, а естественный способ справиться с эмоциями и стрессом.
24. Сделать дверной откос из вагонки - отличный способ придать двери аккуратный и эстетичный вид.
25. Топ 24 лучших прокси IPv4: рейтинг надежности и скорости
26. Как выращивать вишню мелькопильчатую в средней полосе.
27. Расскажите о истории Красной площади и её значении для России
28. Лучшие прокси для Instagram 2025: полный обзор и рейтинг
29. Лучшие прокси для Instagram в 2025 году: рейтинг и обзор
30. Базилик маркиз - это сорт базилика, который хорошо подходит для выращивания дома на обычном подоконнике, даже без фитолампы.
31. Секреты обворожительных красавиц: как добиться идеальных форм
32. Эталон женской фигуры: как определить и достичь идеал
33. Какие ночные клубы или бары работают в Орске
34. Первая подкормка + обработка от болезней клубники.
35. Огурчики по-фински: шикарный рецепт.
36. Милaшино тeсто (супер - экспресс).
37. Топ 7 прокси для Amazon в 2025 году: Рейтинг лучших сервисов
38. Лучшие приватные прокси для Instagram: обзор и рекомендации
39. Меня научила итальянская семья.
40. Кто такие первобильщики в арбитраже трафика: разбираемся в профессии
41. Арбитраж с пабликов ВК: как зарабатывать на живых публикациях
42. Top 5 Instant Data Scraping Tools for Easy Web Scraping: A Comprehensive Guide
43. The Ultimate Guide to the Top 15 Web Scraping Tools and Software in 2025
44. Лучшие инструменты для веб-скрейпинга в 2025 году
45. Unlock the Power of Proxifier 4.12 with Download Crack and Registration Key 2025
46. Когда жена спрашивает, не жирная ли она, я уточняю: "с точки зрения красоты или здоровья?
47. Улучшайте свою производительность с помощью многоразовых ключей к Proxifier
48. Новейший и вкуснейший салат грибы под шубой.
49. Unlocking the Power of Web Scraping with Proxies
50. Лучшие бесплатные прокси-серверы для веб-скрапинга в 2025 году