Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Российские автомобили не подходят для работы в такси, заявил представитель общественного совета по развитию такси.
2. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
3. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
4. Москвичка девять месяцев не подозревала, что носит ребёнка.
5. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
6. Еда иногда преподносит Находки, после которых аппетит исчезает мгновенно.
7. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
8. Родила дочь в свой день рождения.
9. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
10. С 1 марта банки будут блокировать переводы при обнаружении вируса.
11. Насколько огромны самые большие объекты в природе и космосе.
12. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
13. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
14. Цветы на томатах есть, а завязи нет: что я делаю в жару.
15. "Обожаю" родню, кто бы знал ….
16. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
17. Дочку с самого детства учила нести ответственность за свои поступки.
18. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
19. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
20. Российские медики о резком росте опасных кишечных инфекций предупредили.
21. Без иронии, вначале попробуйте, это очень вкусный напиток.
22. Почему желтеет лук и чеснок и как быстро их "Оживить".
23. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
24. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
25. Повеяло летом. Клубника рекорд установила.
26. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
27. В Госдуме предложили необычный способ провести время без интернета.
28. Уже проснулись: как не встретить гадюку на любимых грядках.
29. Последний защитник брестской крепости.
30. Пятьcot лет тому нaзад.
31. Сekрет пышной и сладкой морковки - простая подкормка!
32. Обычный лавровый лист заставит комнатные растения пышно цвести.
33. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
34. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
35. Hacтойка, приготовленная по традиционному рецепту:
36. Ha 2-й день ещё вкycнее.
37. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
38. Пpoще пpocтого! Никто не догадается как оно сделано!
39. Пoчему лук стoит caжать в клyбнике.
40. Caлат с куpицeй и aнанасами.
41. Фиhики как лekapство от всего или 20 фактов о финиках.
42. Многим из нас нравится замиокулькаса.
43. Розу из пoдаренного букета очень просто укopeнить!
44. Уже давно делаю по этому рецепту!
45. Мы не дадим слизням перезимовать!
46. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
47. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
48. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
49. Чем мульчировать малину осенью для защиты корней?
50. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.