Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. МРТ Плода показывает мозг и глаза сквозь кости черепа.
2. Муж постоянно по утрам будит.
3. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
4. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
5. Переехали за город, как давно мечтали.
6. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
7. Я не худею к морю - езжу в Турцию.
8. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
9. Сделал тест днк на дочь - результат 0%.
10. История доказывает, что многие теории заговора со временем становятся фактами.
11. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
12. Так томаты в теплицу не просто так высаживают.
13. Плитка из ведерка от майонеза: дачный шик своими руками.
14. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
15. Всегда в путешествиях.
16. Совет по рассаде томатов.
17. У китайцев принято чавкать.
18. Клещи - мутанты из Африки атакуют россиян.
19. Этой весной Россию накроет массовое нашествие комаров и клещей.
20. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
21. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
22. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
23. Не у всех укроп растёт как сорняк, в огромных количествах.
24. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
25. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
26. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
27. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
28. Как правильно ухаживать за фиалками.
29. 28 kулинарных tohкостей на вec 3 олота.
30. Этот робот не просто убирает ваш дом - он его изучает.
31. Давайте мы приготовим вкуснейшую аджику из cлив.
32. С легкой и пушистой текстурой, это самый мягкий торт.
33. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
34. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
35. Полезная свекольная аджика на зиму.
36. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
37. Яркий акцент для сада.
38. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
39. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
40. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
41. Подготовка почвы к новому сезону: без перекопки, но с пользой.
42. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
43. Знаете, зачем завязывают ботву чеснока в узел?
44. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать
45. Топ-15 инструментов для сбора email-адресов для эффективной работы в 2025 году
46. Three Russian Headlines:
47. Как ухаживать за сливой, чтобы собрать щедрый урожай.
48. Ренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
49. Полное руководство по Instagram прокси 2025: как освоить социальные сети
50. Как использовать прокси для социальных сетей и лучшие провайдеры в 2025 году