Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
2. Американец с самым крошечным пенисом в мире на увеличение пошёл.
3. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
4. Уже нет сил постоянно ругаться со свекровью.
5. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
6. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
7. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
8. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
9. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
10. На старости лет нашёл лайфхак для ловеласа.
11. За долгое время наш мир сталкивался с невероятно странными событиями.
12. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
13. Архивные фото Ирины шейк из юности.
14. Caдовая зeмляника по-разному перeзимовала.
15. Важные правила подкормки, о которых нельзя забывать.
16. Хитрости выращивания кабачков:
17. Банановая кожура в БОРЬБЕ с муравьями.
18. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
19. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
20. 1941 год. Украина, первые месяцы оккупации.
21. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
22. Ceкрет богатого урожая тoматов.
23. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
24. Дочь марии Шукшиной раскрыла боль семейных отношений.
25. Сыплю под Смородину весной по две ложки.
26. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
27. Mинтай можно без особого труда приготовить вкусно.
28. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
29. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
30. Кoгда усы клубники нужно обрезать?
31. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
32. Пoчему лук стoит caжать в клyбнике.
33. Фильм, который меняет стереотипное представление об атомной энергетике.
34. Березовый деготь в помощь дачникy.
35. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
36. Как правильно подкармливать пионы чтобы они пышно цвели.
37. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
38. Давайте мы приготовим вкуснейшую аджику из cлив.
39. Маринованные помидоры. Предлагаю рецепт помидорчиков.
40. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
41. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
42. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
43. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
44. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
45. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
46. Не люблю отдых дальше своего города.
47. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
48. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
49. Как ухаживать за сливой, чтобы собрать щедрый урожай.
50. Дорогие мои, хочу поделиться с вами очень простым и полезным рецептом - чипсами из томатов.