Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Telegram могут заблокировать в начале апреля, снова сообщает РБК.
2. После длительного зимнего перерыва, ана де Армас вновь отправилась в Лос-анджелес, возобновив интенсивные тренировки.
3. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
4. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
5. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
6. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
7. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
8. Про выращивание укропа.
9. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
10. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
11. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
12. Пробовали сажать лук китайским способом?
13. Как правильно подкармливать пионы чтобы они пышно цвели.
14. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
15. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
16. Taкой арoматный и вкycный.
17. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
18. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
19. Полезная памятка средств для сада и огорода.
20. Розу из пoдаренного букета очень просто укopeнить!
21. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
22. Пурпурная малина - настоящая Находка для вашего сада!
23. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
24. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
25. Лучшие инструменты для веб-скраппинга 2025: обзор лучших программ
26. Топ-10 бесплатных инструментов для веб-скраппинга: извлечение данных стало проще
27. Какие легенды и мифы связаны с историей Миасса
28. Эффективные Instagram Scrapers 2025: Топ-16 Инструментов
29. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию:
30. Как выбрать идеального провайдера резидентных прокси-серверов для вашего бизнеса
31. Йошта. Почему я её крыжовнику предпочла.
32. Опасные растения для дачи!
33. Чтобы сделать копатель траншей из трубы, вам потребуется немного инструментов и материалов, а также аккуратность и терпение.
34. Дроны - доставщики уже не фантастика, а часть современной логистики.
35. Среди ледяных просторов севера, где почти нет деревьев и зима длится большую часть года, живёт арктический волк.
36. Амазон: полный список стран с доставкой
37. Какие религиозные места можно посетить в Москве
38. Как приготовить питательную почвосмесь для любой рассады.
39. Как безопасно купить proxy для Инстаграм: советы и рекомендации
40. Лучшие бесплатные прокси 2025: Надежные и быстрые
41. Топ-10 лучших прокси-провайдеров 2025 года: Обзор и рейтинг
42. Среди высоких многолетников можно обратить внимание на следующие виды:
43. Секреты девушек с идеальной фигурой на пляже
44. Секреты красивых девушек: как добиться идеальной фигуры
45. Политехнический музей – для кого интересен
46. Как найти самый лёгкий продукт для продажи на Amazon FBA
47. Невероятный новый метод исследования продуктов для Amazon FBA
48. Что будет, если вылить чайник кипятка на куст смородины!
49. Какие спортивные и активные виды отдыха доступны в парках Новосибирска
50. Лучшие мобильные прокси для Instagram ботов: как выбрать идеальное решение