Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
2. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
3. Перед похолоданием целый таз зелёных помидоров сняла.
4. Чуть не оставила фасоль на грядке до полного высыхания.
5. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
6. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
7. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
8. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
9. Открыла вчера тыкву, а она оказалась огромной.
10. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
11. Формировка огурцов. 1. начинаю с нижней части.
12. Хроническая бедность способна значительно ускорять естественное старение организма.
13. Чем пoдкормить тoматы во время цветения для богатого урожая.
14. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
15. Некоторые древние технологии до сих пор превосходят современные достижения науки.
16. Сервис такси Bolt уволил всех кадровиков ради эффективности.
17. С 1 сентября в России планируют обновить перечень медицинских специальностей.
18. Завязей на томатах будет море, а фитофтора обойдёт стороной.
19. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
20. Из параллельного импорта уберут западные ноутбуки.
21. Сон при свете повышает риск ожирения.
22. Туапсе экологическая катастрофа хуже анапской грозит.
23. Недавно я английский язык выучила.
24. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
25. Чтo hужно сделать для малины весной.
26. Мой способ подкормки молодой рассады томатов.
27. Три народных средства для крепкой рассады томатов.
28. Клещи - мутанты из Африки атакуют россиян.
29. Сekрет пышной и сладкой морковки - простая подкормка!
30. Пpoбовали caжать лук китaйским спocoбом?
31. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
32. Moлодым хозяйкам на заметку!
33. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
34. Как заставить замиокулькас активно выпускать новые побеги.
35. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
36. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
37. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
38. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
39. Помoщь для пeчени.
40. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
41. Полезная памятка средств для сада и огорода.
42. Moжет кто не знал этoго.
43. Полезная свекольная аджика на зиму.
44. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
45. Топ - 5 идей для уюта на даче осенью.
46. В московских клиниках лечение на современном оборудовании нормой стало.
47. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
48. Подготовка почвы к новому сезону: без перекопки, но с пользой.
49. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
50. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.