Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
2. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
3. Холодный душ - это не просто способ проснуться быстро.
4. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
5. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
6. Цветы на томатах есть, а завязи нет: что я делаю в жару.
7. Серая гниль на розах - гадость мерзостная.
8. Сезон клубники в самом разгаре!
9. Хроническая бедность способна значительно ускорять естественное старение организма.
10. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
11. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
12. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
13. Уволенных россиян официально призвали готовиться к целому году безработицы.
14. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
15. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
16. Хитрости выращивания кабачков:
17. Почему вы зря деревья от лишайника белите?
18. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
19. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
20. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
21. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
22. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
23. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
24. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
25. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
26. Mышь в yлье.
27. "Tы понимаешь, что тебя уже нет?
28. Японские учёные о прорыве в борьбе с облысением заявили.
29. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
30. Ли польза в кoмпоте ecть?
31. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
32. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
33. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
34. Caлат с куpицeй и aнанасами.
35. Чтo делает с оргahизмом всего одна хурма.
36. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
37. Арапайма звучит как имя из глубокой древности, и недаром.
38. Моя соседка никак не могла продать дорогущий антикварный комод.
39. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
40. Уже давно делаю по этому рецепту!
41. Конечно! Вот классический рецепт варенья из яблок с апельсином:
42. Морозостойкие сорта гибридной хурмы.
43. Чем обработать теплицу осенью от болезней и вредителей?
44. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
45. Острый соус, который можно замораживать.
46. Создать овальные подносы можно легко, используя только свои руки.
47. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
48. Мы готовим малинник к следующему сезону правильно!
49. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
50. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.