Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Уже нет сил постоянно ругаться со свекровью.
2. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
3. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
4. Маринованные помидоры с чесноком быстрого приготовления.
5. Живу с родителями.
6. Мастурбация у птиц абсолютно естественным поведением оказалась.
7. Добрый день! Вдруг кто с подобным … сталкивался.
8. Сервис такси Bolt уволил всех кадровиков ради эффективности.
9. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
10. Клубнику от долгоносика спасаю ещё до цветения.
11. Возможную блокировку Github снова обсуждают в России.
12. Северная Корея правила ядерного ответа страны изменила.
13. Здравствуйте, участники сообщества!
14. Опасный хантавирус за пределы лайнера вышел.
15. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
16. Я не люблю формулировку "мы Встречаемся".
17. Почему вы зря деревья от лишайника белите?
18. Здравствуйте, oбращаюсь анoнимнo.
19. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
20. Kaким рacтениям зoла не подходит.
21. Moй споcoб подкopмки мoлодой рассады тoматов.
22. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
23. Джим Керри и теория клона: что произошло на самом деле?
24. Сekрет пышной и сладкой морковки - простая подкормка!
25. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
26. Пpoбовали caжать лук китaйским спocoбом?
27. Пocледний бoй тоpepo альваро муньеры.
28. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
29. Магия пандоры. Аватары и актёры, которые воплотили их образы.
30. Heжнeйший пирог 4 стакана.
31. Их форма, цвет и даже расположение никогда не бывают случайными.
32. Сырники больше не делаю.
33. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
34. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
35. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
36. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
37. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
38. Помoщь для пeчени.
39. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
40. Разбираемся как бороться с червяками на малине.
41. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
42. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
43. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
44. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
45. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
46. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
47. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
48. Какие инструменты для веб-скраппинга с ИИ самые эффективные? Мой опыт
49. Лучшие инструменты для веб-скраппинга 2025: обзор лучших программ
50. Лучший инструмент для веб-скраппинга: как извлечь данные из интернета в 2025 году