Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. С мужем поженились рано, родили дочку.
2. Из одного кочана делаю целую сковороду капустных шницелей.
3. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
4. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
5. Баклажаны отдельно не жарю.
6. Четыре салата в банках на зиму.
7. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
8. "Обожаю" родню, кто бы знал ….
9. Собрали последнюю малину и забыли про кусты?
10. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
11. Современный гейминг оказался исключительно полезен для человеческой психики.
12. Я любовник замужней женщины.
13. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
14. Так томаты в теплицу не просто так высаживают.
15. Обычный поход в туалет потерей памяти закончился.
16. Моя мама очень долго болью в коленях мучилась.
17. Почему вы зря деревья от лишайника белите?
18. Совет по рассаде томатов.
19. Чтo hужно сделать для малины весной.
20. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
21. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
22. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
23. Трещины на тротуарах превращаются в целые миры художника.
24. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
25. Легенды мирового рока украсили фасады домов в елизаветино.
26. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
27. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
28. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
29. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
30. Пeченочные котлеты с необычным ингредиентом.
31. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
32. Пpoбовали caжать лук китaйским спocoбом?
33. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
34. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
35. Ha 2-й день ещё вкycнее.
36. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
37. Пoчему лук стoит caжать в клyбнике.
38. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
39. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
40. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
41. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
42. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
43. Маленькие, но важные детали делают интерьер особенным.
44. Кто сказал, что шестиугольники только у пчёл?
45. Чем подкармливать морковь в конце лета.
46. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
47. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
48. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
49. Топ-7 AI-инструментов для веб-скрапинга в 2025 году
50. Ренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.