Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
2. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
3. Должны были с подружкой пойти в субботу на пробежку.
4. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
5. Что будет с землёй, если солнце внезапно исчезнет.
6. Как правильно разделить и пересадить лилии: пошаговая инструкция.
7. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
8. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
9. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
10. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
11. Экзамен по философии сдавала.
12. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
13. Здоровый быт начинается с внимания к предметам, которые вас окружают.
14. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
15. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
16. Как-то довелось быть свидетелем диалога двух дачниц.
17. В Египте экстренно отменили все популярные морские экскурсии.
18. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
19. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
20. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
21. Архивные фото Ирины шейк из юности.
22. Сон при свете повышает риск ожирения.
23. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
24. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
25. Проект за 200 миллионов долларов превратился в странный город - призрак.
26. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
27. В Госдуме предложили необычный способ провести время без интернета.
28. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
29. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
30. Нежный пирог черный принц из варенья.
31. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
32. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
33. Секрет пышной и сладкой морковки - простая подкормка!
34. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
35. Затяжная магнитная буря уже началась и продлится до конца декабря.
36. Очищение сосудов головного мозга.
37. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
38. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
39. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
40. Мощный шторм на Москву надвигается.
41. Конечно! Вот классический рецепт варенья из яблок с апельсином:
42. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
43. Что делать, если листья огурцов стали "Мраморные"?
44. 5 секретов обильного урожая огурцов.
45. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
46. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
47. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
48. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
49. Самый легкий способ укоренения розы из букета!
50. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.