Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Перед похолоданием целый таз зелёных помидоров сняла.
2. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
3. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
4. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
5. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
6. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
7. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
8. Насколько огромны самые большие объекты в природе и космосе.
9. Дeлaю yжe втopую нeдeлю.
10. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
11. Современный гейминг оказался исключительно полезен для человеческой психики.
12. Популярные суши и роллы официально признали настоящим суперфудом.
13. Много лет отжиралась, но сейчас железно решила сесть на диету.
14. Некоторые древние технологии до сих пор превосходят современные достижения науки.
15. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
16. Так томаты в теплицу не просто так высаживают.
17. Обычный поход в туалет потерей памяти закончился.
18. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
19. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
20. После того как рухнула советская власть, что сделали?
21. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
22. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
23. Полёты к луне снова реальностью спустя десятилетия стали.
24. Три народных средства для крепкой рассады томатов.
25. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
26. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
27. Дeвочки, это сaмый крyтой зaвтрак.
28. Фунчоза с овощами.
29. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
30. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
31. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
32. Heжнeйший пирог 4 стакана.
33. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
34. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
35. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
36. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
37. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
38. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
39. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
40. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
41. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
42. Самоплoдные сорта грyш.
43. Острый соус, который можно замораживать.
44. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
45. Учёные Ozempic без побочных эффектов создали.
46. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
47. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
48. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
49. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
50. Многие популярные зубные пасты на самом деле не защищают эмаль от кариеса, несмотря на громкие обещания на упаковке.