Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Психологи связь депрессии с состоянием близкого окружения изучили.
2. Один взлом может превратить умный пояс верности в настоящий замок.
3. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
4. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
5. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
6. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
7. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
8. Чем заболела груша и как ее лечить?
9. В нашей семье все склонны к полноте.
10. Найти хорошую работу в России становится практически невозможно для большинства граждан.
11. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
12. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
13. Мощная подкормка для овощей: секрет огромного количества завязей.
14. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
15. Привычные повседневные продукты от потребителей свою темную историю скрывают.
16. Традиционные дипломные работы могут полностью исчезнуть из вузов.
17. У меня сложные отношения со свекрами.
18. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
19. Нарциссизм всё чаще связывают именно с генетикой.
20. Опасный хантавирус за пределы лайнера вышел.
21. Важные правила подкормки, о которых нельзя забывать.
22. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
23. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
24. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
25. Последний защитник брестской крепости.
26. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
27. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
28. В Мавритании ходит один из самых впечатляющих поездов на планете.
29. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
30. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
31. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
32. Самые полезные виды варенья.
33. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
34. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
35. Фигуру дочки Маликова бурно обсуждают в Сети.
36. Сaлат с копченой курицей.
37. Как заставить замиокулькас активно выпускать новые побеги.
38. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
39. Что нужно знать о перце:
40. Фильм, который меняет стереотипное представление об атомной энергетике.
41. Как правильно ухаживать за фиалками.
42. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
43. Моя соседка никак не могла продать дорогущий антикварный комод.
44. Розу из пoдаренного букета очень просто укopeнить!
45. Ни один шашлычек у нас не обходят без этой закуски!
46. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
47. Морозостойкие сорта гибридной хурмы.
48. Создавать своими руками - значит делать вещи особенными.
49. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
50. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.