Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
2. В 11 лет я сломала нос.
3. Открыла вчера тыкву, а она оказалась огромной.
4. Соседка уже спрашивает, когда будем сажать озимый чеснок.
5. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
6. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
7. Американец с самым крошечным пенисом в мире на увеличение пошёл.
8. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
9. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
10. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
11. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
12. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
13. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
14. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
15. Будьте осторожны на участках и во время отдыха на природе.
16. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
17. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
18. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
19. Малина в июне в правильной подкормке нуждается.
20. Когда-то давно у меня был кот с сумасшедшим характером.
21. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
22. Хотите получить огурцы без болезней и с хорошим здоровьем?
23. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
24. После того как рухнула советская власть, что сделали?
25. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
26. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
27. Все лето держу окна в доме отрытыми и не боюсь комаров.
28. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
29. Oгурцы будете рaздавать всем coceдям.
30. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
31. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
32. Фигуру дочки Маликова бурно обсуждают в Сети.
33. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
34. Их форма, цвет и даже расположение никогда не бывают случайными.
35. Когдa нeльзя сaжать и cеять.
36. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
37. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
38. Мы удобряeм сливу правильно!
39. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
40. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
41. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
42. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
43. Учёные в вейпах следы фекалий обнаружили.
44. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
45. Очень вкусная аджика на зиму!
46. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
47. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
48. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
49. Молодая кровь способна омолаживать тело - это доказали учёные.
50. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.