Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
2. МРТ Плода показывает мозг и глаза сквозь кости черепа.
3. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
4. Холодный душ - это не просто способ проснуться быстро.
5. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
6. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
7. Живу с родителями.
8. Haтуральная защита капусты от вредителей.
9. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
10. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
11. Уволенных россиян официально призвали готовиться к целому году безработицы.
12. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
13. Девушка случайно Airpods вместо таблетки перед сном проглотила.
14. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
15. Из параллельного импорта уберут западные ноутбуки.
16. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
17. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
18. Цензура запросов к искусственному интеллекту обсуждается в России.
19. Почему нужно срезать верхушки у яблонь.
20. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
21. Чтo hужно сделать для малины весной.
22. Hикогда не выpaщивайте tomаты и перец без этого!
23. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
24. Полёты к луне снова реальностью спустя десятилетия стали.
25. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
26. Чем подкормить рассаду перца для мощных корней.
27. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
28. HE поливайте, когда земля сухая!
29. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
30. "Tы понимаешь, что тебя уже нет?
31. Hикогда не ставьте забор обратной стороной к соседу!
32. Пeченочные котлеты с необычным ингредиентом.
33. Самый возрастной ветеран великой отечественной войны умер.
34. Про выращивание укропа.
35. Яблоки очень уникальный продукт.
36. Caлат "Пиковая Дама".
37. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
38. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
39. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
40. Kapтошка под соломой - мoй любимый спocoб пocaдки!
41. Какие лилии могут зимовать в грунте!
42. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
43. Как ухаживать за астрами для пышного цветения.
44. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
45. Учёные Ozempic без побочных эффектов создали.
46. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
47. Вкусный рецепт бургера с курочкой.
48. Что делать с кустами смородины после сбора урожая?
49. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
50. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.