Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В России сообщили о взломах автомобилей Li Xiang.
2. На земле существуют места, которые выглядят как ошибка реальности.
3. Новенькие Iphone Duo начали ломаться прямо на глазах покупателей.
4. На краю Атлантики спряталась деревня, в которой живут всего около 70 человек.
5. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
6. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
7. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
8. Некоторые самолёты исчезли так, будто не существовали вовсе.
9. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
10. Чуть не оставила фасоль на грядке до полного высыхания.
11. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
12. Все выбрасывают арбузные корки, а я замариновала одну банку.
13. На столе опять собралась миска яблок, которые никто не хотел есть.
14. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
15. Насколько огромны самые большие объекты в природе и космосе.
16. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
17. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
18. Цветы на томатах есть, а завязи нет: что я делаю в жару.
19. На море вляпалась в курортный роман.
20. Хроническая бедность способна значительно ускорять естественное старение организма.
21. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
22. Средства для подкормки помидоров.
23. Моего кота зовут заяц.
24. Петербургские депутаты предложили изменить школьную программу полового воспитания.
25. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
26. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
27. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
28. Чем подкормить рассаду перца для мощных корней.
29. Легенды мирового рока украсили фасады домов в елизаветино.
30. Когда вид на озеро главным элементом проекта дома становится.
31. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
32. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
33. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
34. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
35. Секрет пышной и сладкой морковки - простая подкормка!
36. Австралийская семья отказалась продать дом за 50 миллионов долларов.
37. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
38. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
39. Мы удобряeм сливу правильно!
40. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
41. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
42. Kapтошка под соломой - мoй любимый спocoб пocaдки!
43. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
44. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
45. Это закуска на любом застолье на ура уходит!
46. В России начались испытания новой вакцины против аллергии.
47. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
48. Недорогое средство от пятнистостей на розах.
49. Малосольные помидорки по-армянски.
50. В московских клиниках лечение на современном оборудовании нормой стало.