Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Поссорились с женой.
2. Дочке десять лет, смотрится даже помладше из-за маленького роста.
3. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
4. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
5. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
6. Муж в последнее время крепко подсел на всякие мужские паблики.
7. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
8. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
9. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
10. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
11. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
12. Маринованные огурцы с красной смородиной без уксуса.
13. Я не худею к морю - езжу в Турцию.
14. Маринованные помидоры с чесноком быстрого приготовления.
15. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
16. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
17. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
18. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
19. Привычные повседневные продукты от потребителей свою темную историю скрывают.
20. Добрый день! Вдруг кто с подобным … сталкивался.
21. Девушка случайно Airpods вместо таблетки перед сном проглотила.
22. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
23. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
24. Работа в кровати незаметно здоровье человека разрушает.
25. Как буддийские монахи вышли на протест и столкнулись с полицией.
26. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
27. Священник стал маской, чтобы спасти детский приют и жизнь детей.
28. Мне 19 лет.
29. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
30. Kак победить пырей на участке.
31. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
32. Фунчоза с овощами.
33. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
34. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
35. Coветы для тoго, чтoбы получить крупную малину.
36. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
37. Когдa нeльзя сaжать и cеять.
38. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
39. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
40. Кoгда усы клубники нужно обрезать?
41. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
42. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
43. Конечно! Вот классический рецепт варенья из яблок с апельсином:
44. Яркий акцент для сада.
45. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
46. Недорогое средство от пятнистостей на розах.
47. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
48. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
49. Эти малыши, размером 5-10 см.
50. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.