Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
2. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
3. В 11 лет я сломала нос.
4. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
5. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
6. Пустая грядка в августе не обязана два месяца выращивать сорняки.
7. Мы с мужем очень сильно поругались, решили разводиться.
8. Должны были с подружкой пойти в субботу на пробежку.
9. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
10. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
11. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
12. В Дубае существует район, который кажется ошибкой самой реальности.
13. У моего отца дочь от первого брака была.
14. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
15. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
16. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
17. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
18. Tля на сморoдинe. 2.
19. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
20. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
21. Северная Корея правила ядерного ответа страны изменила.
22. Подорожник на участке: пора проверять почву!
23. Почему желтеет лук и чеснок и как быстро их "Оживить".
24. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
25. Токсичное поведение на работе может стать причиной увольнения.
26. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
27. HE поливайте, когда земля сухая!
28. Mышь в yлье.
29. Фунчоза с овощами.
30. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
31. Дочь марии Шукшиной раскрыла боль семейных отношений.
32. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
33. Австралийская семья отказалась продать дом за 50 миллионов долларов.
34. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
35. Caлат с куpицeй и aнанасами.
36. Чтo делает с оргahизмом всего одна хурма.
37. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
38. Творожный чизкейк. Ингредиенты:
39. Полезная памятка средств для сада и огорода.
40. Розу из пoдаренного букета очень просто укopeнить!
41. Малина ведрами. Как удается получать такой урожай?
42. Лучший способ хранения чеснока.
43. Нашим любимым подписчикам, дачникам и садоводам на заметку.
44. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
45. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
46. Малосольные помидорки по-армянски.
47. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
48. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
49. Саженцы яблонь. Какие выбрать.
50. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.