Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Эти имена несут истории, которым больше лет, чем целым цивилизациям.
2. "Женщин Нужно Загнать в Беременность" - россиянкам старше 38 лет хотят отменить бесплатное ЭКО.
3. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
4. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
5. Я в небогатой семье с двумя братьями росла.
6. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
7. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
8. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
9. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
10. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
11. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
12. Мы с мужем очень сильно поругались, решили разводиться.
13. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
14. Холодный душ - это не просто способ проснуться быстро.
15. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
16. Цветы на томатах есть, а завязи нет: что я делаю в жару.
17. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
18. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
19. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
20. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
21. Опасный хантавирус за пределы лайнера вышел.
22. Моя мама очень долго болью в коленях мучилась.
23. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
24. После того как рухнула советская власть, что сделали?
25. Кейсы в CS2 и паки Fifa предложили запретить в России.
26. Когда сажать бархатцы и какие сорта лучше выбрать.
27. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
28. Мой способ подкормки молодой рассады томатов.
29. Клещи - мутанты из Африки атакуют россиян.
30. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
31. Cвeжий укроп всегда под рукoй.
32. Нежный пирог черный принц из варенья.
33. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
34. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
35. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
36. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
37. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
38. Что нужно знать о перце:
39. Не пробовали посадить лук китайским способом?
40. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
41. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
42. Розу из пoдаренного букета очень просто укopeнить!
43. Конечно! Вот классический рецепт варенья из яблок с апельсином:
44. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
45. Морозостойкие сорта гибридной хурмы.
46. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
47. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
48. Красивые садовые дорожки своими руками.
49. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
50. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.