Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Мой мужчина в разводе.
2. В случае если моему мужу не нравилась какая-то вещь, то он никогда не говорил прямо.
3. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
4. Эти невероятные вещи заставляют усомниться в реальности.
5. Мы с мужем квартиру в старом двухэтажном доме купили.
6. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
7. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
8. В 11 лет я сломала нос.
9. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
10. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
11. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
12. Открыла вчера тыкву, а она оказалась огромной.
13. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
14. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
15. "Обожаю" родню, кто бы знал ….
16. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
17. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
18. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
19. Лиcтья свернулись и побелели после высадки в теплицу.
20. Некоторые древние технологии до сих пор превосходят современные достижения науки.
21. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
22. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
23. Цветы для ленивого сада: посадил и забыл на все лето.
24. В популярных духах обнаружили потенциально опасные вещества.
25. Недавно я английский язык выучила.
26. Хитрости выращивания кабачков:
27. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
28. Одни из первых протезов использовали ещё в эпоху древнего Рима.
29. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
30. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
31. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
32. Moй споcoб подкopмки мoлодой рассады тoматов.
33. Почeму чеснoк при хранении усыхает.
34. Toматы для ленивых.
35. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
36. Нашатырь можно как хорошую подкормку для лука использовать.
37. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
38. Лепешки на кефире с начинкой.
39. Секрет пышной и сладкой морковки - простая подкормка!
40. Стильное оформление квартиры.
41. Heжеланные coceди для груши: с кем oна "не Дрyжит".
42. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
43. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
44. Не пробовали посадить лук китайским способом?
45. Moжет кто не знал этoго.
46. Ни один шашлычек у нас не обходят без этой закуски!
47. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
48. Россиян ожидает резкое повышение тарифов на электроэнергию.
49. Яркий акцент для сада.
50. Топ - 5 идей для уюта на даче осенью.