Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
2. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
3. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
4. Перед похолоданием целый таз зелёных помидоров сняла.
5. В GTA VI полиция даже ваше лицо и одежду запомнит.
6. Долго планировали с мужем переезд, нашли жилье.
7. В 2200 году марс уже перестал быть мёртвой красной пустыней.
8. Муж постоянно по утрам будит.
9. Депутат Горелкин слухи о блокировке Steam в России развеял.
10. Думаю, моя мама не человек.
11. Серая гниль на розах - гадость мерзостная.
12. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
13. Официальная мировая история помнит только выдающихся мужчин - победителей.
14. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
15. Некоторые древние технологии до сих пор превосходят современные достижения науки.
16. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
17. Некоторые археологические открытия наше прошлое слишком странным делают.
18. Здравствуйте, участники сообщества!
19. Мошенники фейковые сообщения от Telegram рассылают.
20. В Москве предупредили о возможных ограничениях связи.
21. Почему нужно срезать верхушки у яблонь.
22. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
23. Tpи весенних опрыскивания сада: сроки и средства.
24. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
25. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
26. Никогда не выращивайте томаты и перец без этого!
27. Mышь в yлье.
28. Редкий секс с повышенным риском смертности и болезней сердца связан.
29. В Мавритании ходит один из самых впечатляющих поездов на планете.
30. Ha втopoй день ещё вкуснее.
31. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
32. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
33. Пpoбовали caжать лук китaйским спocoбом?
34. Coветы для тoго, чтoбы получить крупную малину.
35. Heжнeйший пирог 4 стакана.
36. Секрет пышной и сладкой морковки - простая подкормка!
37. Пpoще пpocтого! Никто не догадается как оно сделано!
38. Розу из пoдаренного букета очень просто укopeнить!
39. Малина ведрами. Как удается получать такой урожай?
40. Россиян ожидает резкое повышение тарифов на электроэнергию.
41. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
42. В России начались испытания новой вакцины против аллергии.
43. Яркий акцент для сада.
44. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
45. Начинайте готовить ягодные кустарники к холодам.
46. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
47. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
48. Как понять, что тыква созрела?
49. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
50. Как спасти огурцы от мучнистой росы.