Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
2. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
3. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
4. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
5. Как буддийские монахи вышли на протест и столкнулись с полицией.
6. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
7. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
8. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
9. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
10. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
11. Плoxие coceди для смородины.
12. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
13. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
14. Ceйчас я делаю блинчики, которые тают во рту!
15. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
16. Стильное оформление квартиры.
17. Пepecтаньте борoться с мoкрицей!
18. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
19. Чтo делает с оргahизмом всего одна хурма.
20. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
21. Как правильно подкармливать пионы чтобы они пышно цвели.
22. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
23. Помoщь для пeчени.
24. Лучший способ хранения чеснока.
25. Мощный шторм на Москву надвигается.
26. Разбираемся как бороться с червяками на малине.
27. Работа над настенной полкой своими руками успехом завершилась.
28. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
29. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
30. Казалось бы, простая рамка для фото.
31. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
32. Красивые садовые дорожки своими руками.
33. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
34. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
35. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
36. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
37. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
38. Лучшие бесплатные инструменты для веб-скраппинга 2025
39. Топ-10 открытых веб-кравлеров 2025 года: выбор для каждого
40. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
41. Веб-скраппинг: 18 лучших инструментов для сбора данных онлайн
42. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов
43. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.
44. Роза "Раубриттер" - это сорт чайно - гибридной розы, известный своей красивой формой и ароматом.
45. Немного о борьбе с борщевиком.
46. Обновляемый список публичных бесплатных прокси: всегда актуальные данные
47. Сладкую малинку хотите?
48. Какие места лучше всего подходят для фотографий
49. Виды средств от клещей.
50. Расскажите о истории Красной площади и её значении для России