Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
2. Пустая грядка в августе не обязана два месяца выращивать сорняки.
3. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
4. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
5. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
6. Депутат Горелкин слухи о блокировке Steam в России развеял.
7. Должны были с женой и родителями лететь на свадьбу сестры.
8. Дeлaю yжe втopую нeдeлю.
9. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
10. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
11. В Японии открылся уникальный музей для всех ценителей женских ног.
12. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
13. Почему желтеет лук и чеснок и как быстро их "Оживить".
14. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
15. Caдовая зeмляника по-разному перeзимовала.
16. Хитрости выращивания кабачков:
17. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
18. Священник стал маской, чтобы спасти детский приют и жизнь детей.
19. Kaк подкармливать перец для щедрого урожая.
20. Советы дачникам. * Борная кислота:
21. Уже проснулись: как не встретить гадюку на любимых грядках.
22. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
23. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
24. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
25. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
26. Фунчоза с овощами.
27. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
28. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
29. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
30. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
31. Сaлат с копченой курицей.
32. Hacтойка, приготовленная по традиционному рецепту:
33. Что нужно знать о перце:
34. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
35. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
36. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
37. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
38. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
39. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
40. Морозостойкие сорта гибридной хурмы.
41. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
42. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
43. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
44. Создавать уют своими руками - значит делать интерьер уникальным.
45. Топ - 5 идей для уюта на даче осенью.
46. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
47. Создать овальные подносы можно легко, используя только свои руки.
48. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
49. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
50. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.