Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Здоровый быт начинается с внимания к предметам, которые вас окружают.
2. Муж часто домашние дела на потом задвигает.
3. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
4. В Египте экстренно отменили все популярные морские экскурсии.
5. Без иронии, вначале попробуйте, это очень вкусный напиток.
6. С 1 сентября в России планируют обновить перечень медицинских специальностей.
7. 10 худших цветов для дачи.
8. Цветы для ленивого сада: посадил и забыл на все лето.
9. Мой личный лайфхак относительно учёбы.
10. Натуральные стимуляторы образования корней.
11. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
12. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
13. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
14. Почeму чеснoк при хранении усыхает.
15. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
16. Рецепт меренгового рулета.
17. Дочь марии Шукшиной раскрыла боль семейных отношений.
18. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
19. Она растёт в каждом саду и называется ведьмина трава.
20. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
21. Пиpoжки: зaбытый стapый мaмин рeцепт.
22. Ли польза в кoмпоте ecть?
23. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
24. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
25. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
26. И еxaть никуда не нaдо.
27. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
28. Нашим любимым подписчикам, дачникам и садоводам на заметку.
29. Как избавиться от грызунов на даче простыми средствами.
30. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
31. Не люблю отдых дальше своего города.
32. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
33. Топ-8 библиотек для веб-скраппинга на Python в 2025: что лучше выбрать
34. Топ-15 инструментов для веб-скрейпинга в 2025 году: обзор и рекомендации
35. Ренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
36. Бесплатные Прокси для Вашего Удобства: Топ-15 Резиденциальных Сервисов 2025
37. Топ-15 Бесплатных Резиденциальных Прокси-Серверов для 2025 Года
38. Топ-11 прокси для Instagram в 2025: выбор профессионалов
39. Тренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
40. Лучшие скраперы Instagram 2025: полное руководство
41. Как Выбрать Идеальные Прокси для Snapchat в 2025: Топ-16
42. Как выбрать идеального провайдера резидентных прокси-серверов для вашего бизнеса
43. В мире спорта есть люди, чьё тело словно создано для результата.
44. Йошта. Почему я её крыжовнику предпочла.
45. Здорово, дружище! Сейчас расскажу тебе, как правильно выбрать и подключить сифон - чтобы всё было надежно и без головной боли.
46. Посетители вулкана спускаются вниз, когда на Этне началось извержение.
47. Лучшие прокси-сервисы 2025 года: Обзор и рейтинг
48. Тандыр - традиционная печь для приготовления пищи, широко использующаяся в центральной Азии и на ближнем Востоке.
49. Какие исторические события связаны с Кремлем и Красной площадью
50. Какова история Собора Александра Невского в Йошкар-Оле