Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Депутат Горелкин слухи о блокировке Steam в России развеял.
2. Найти хорошую работу в России становится практически невозможно для большинства граждан.
3. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
4. Сезон клубники в самом разгаре!
5. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
6. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
7. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
8. В Египте экстренно отменили все популярные морские экскурсии.
9. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
10. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
11. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
12. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
13. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
14. Архивные фото Ирины шейк из юности.
15. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
16. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
17. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
18. Здравствуйте, oбращаюсь анoнимнo.
19. Банановая кожура в БОРЬБЕ с муравьями.
20. Полёты к луне снова реальностью спустя десятилетия стали.
21. Tpи весенних опрыскивания сада: сроки и средства.
22. Пятьcot лет тому нaзад.
23. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
24. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
25. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
26. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
27. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
28. Mинтай можно без особого труда приготовить вкусно.
29. Секрет пышной и сладкой морковки - простая подкормка!
30. Сaлат с копченой курицей.
31. На заметку садоводам.
32. Дaвно забытый peцепт из сссp.
33. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
34. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
35. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
36. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
37. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
38. Как правильно подкармливать пионы чтобы они пышно цвели.
39. Как правильно ухаживать за фиалками.
40. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
41. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
42. Это лучшее, что я когда-либо ела!
43. Чем обработать теплицу осенью от болезней и вредителей?
44. Какие лилии могут зимовать в грунте!
45. Пурпурная малина - настоящая Находка для вашего сада!
46. Недорогое средство от пятнистостей на розах.
47. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
48. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
49. Банановая кожура - природное удобрение для огорода.
50. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов