Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
2. Природа каждый день показывает возможности, которые сложно представить.
3. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
4. Кислую сливу, от которой за столом морщатся, я берегу для джема.
5. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
6. В 11 лет я сломала нос.
7. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
8. Малина отплодоносила - и рука так и тянется оставить всё до весны.
9. Открыла вчера тыкву, а она оказалась огромной.
10. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
11. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
12. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
13. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
14. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
15. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
16. Будьте осторожны на участках и во время отдыха на природе.
17. На старости лет нашёл лайфхак для ловеласа.
18. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
19. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
20. Российские власти введение дополнительной платы за VPN отложили.
21. Российские медики о резком росте опасных кишечных инфекций предупредили.
22. Некоторые археологические открытия наше прошлое слишком странным делают.
23. Роза осирия - магия двух оттенков.
24. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
25. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
26. Гигантский астероид скоро рядом с землёй пройдёт.
27. Всегда в путешествиях.
28. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
29. Топ - 10 теневыносливых растений для вашего сада.
30. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
31. Mышь в yлье.
32. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
33. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
34. Самые полезные виды варенья.
35. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
36. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
37. Caлат "Пиковая Дама".
38. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
39. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
40. Начинайте готовить ягодные кустарники к зимовке.
41. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
42. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
43. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
44. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
45. С утра иногда так хочется выпить ароматного бодрящего кофе.
46. Секс помогает улучшать память - к такому выводу пришли американские учёные.
47. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
48. Мы готовим малинник к следующему сезону правильно!
49. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
50. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.