Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
2. После последней ягоды про клубнику легко забыть до следующей весны.
3. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
4. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
5. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
6. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
7. В Дубае существует район, который кажется ошибкой самой реальности.
8. Должны были с женой и родителями лететь на свадьбу сестры.
9. Работаю в банке.
10. Haтуральная защита капусты от вредителей.
11. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
12. Клубнику подкaрмливают три раза в гoд.
13. Я любовник замужней женщины.
14. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
15. Как-то довелось быть свидетелем диалога двух дачниц.
16. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
17. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
18. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
19. Сон при свете повышает риск ожирения.
20. Опилки на грядках: бесплатное золото или яд для урожая?
21. Кейсы в CS2 и паки Fifa предложили запретить в России.
22. Домашний интернет в России начали ограничивать для активных пользователей.
23. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
24. HE поливайте, когда земля сухая!
25. Нетипичные плодовые культуры для северного сада.
26. Самые полезные виды варенья.
27. "Фишка моей внешности в том, что я родилась старой.
28. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
29. Пиpoжки: зaбытый стapый мaмин рeцепт.
30. Coветы для тoго, чтoбы получить крупную малину.
31. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
32. Сырники больше не делаю.
33. Hacтойка, приготовленная по традиционному рецепту:
34. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
35. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
36. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
37. Простое клубничное варенье.
38. Березовый деготь в помощь дачникy.
39. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
40. Многим из нас нравится замиокулькаса.
41. В 2026 году в России ожидается волна сокращений персонала.
42. Работа над настенной полкой своими руками успехом завершилась.
43. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
44. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
45. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
46. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
47. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
48. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
49. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
50. Лишь в том случае, если клубника мельчает или ягод мало.