Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. На земле существуют места, которые выглядят как ошибка реальности.
2. Москвичка девять месяцев не подозревала, что носит ребёнка.
3. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
4. Родила старшую дочку в 17 лет.
5. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
6. Джем из кабачка и кураги сварила.
7. Клубника отплодоносила, но бросать её до весны нельзя.
8. Муж спросил, когда я сильнее всего пугалась в жизни.
9. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
10. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
11. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
12. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
13. Сезон клубники в самом разгаре!
14. Дочку с самого детства учила нести ответственность за свои поступки.
15. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
16. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
17. За долгое время наш мир сталкивался с невероятно странными событиями.
18. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
19. Некоторые археологические открытия наше прошлое слишком странным делают.
20. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
21. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
22. В России обновили правила сдачи экзаменов на водительские права.
23. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
24. Кейсы в CS2 и паки Fifa предложили запретить в России.
25. Всегда в путешествиях.
26. Первая обработка сада от паразитов весной: полный гайд.
27. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
28. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
29. Всем садоводам нужно знать.
30. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
31. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
32. Пpичины, пoчему уcыхает чеснок при хранении.
33. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
34. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
35. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
36. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
37. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
38. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
39. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
40. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
41. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
42. Taкой арoматный и вкycный.
43. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
44. Учёные в вейпах следы фекалий обнаружили.
45. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
46. Морозостойкие сорта гибридной хурмы.
47. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
48. Маленькие, но важные детали делают интерьер особенным.
49. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
50. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.