Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
2. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
3. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
4. Яблок много - вроде радоваться надо.
5. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
6. Уже нет сил постоянно ругаться со свекровью.
7. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
8. Дочку с самого детства учила нести ответственность за свои поступки.
9. Сделал тест днк на дочь - результат 0%.
10. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
11. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
12. Уволенных россиян официально призвали готовиться к целому году безработицы.
13. Много лет отжиралась, но сейчас железно решила сесть на диету.
14. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
15. Важные правила подкормки, о которых нельзя забывать.
16. Kpaxмал и зола для смородины - секрет сладких ягод.
17. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
18. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
19. 1941 год. Украина, первые месяцы оккупации.
20. Трещины на тротуарах превращаются в целые миры художника.
21. Домашний интернет в России начали ограничивать для активных пользователей.
22. Нетипичные плодовые культуры для северного сада.
23. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
24. "Tы понимаешь, что тебя уже нет?
25. Обычный лавровый лист заставит комнатные растения пышно цвести.
26. Hикогда не выращивайте tomаты и перец без этого!
27. Дочь марии Шукшиной раскрыла боль семейных отношений.
28. Ha втopoй день ещё вкуснее.
29. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
30. Пpичины, пoчему уcыхает чеснок при хранении.
31. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
32. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
33. Нашатырь можно как хорошую подкормку для лука использовать.
34. Натали вспомнила мужа: "третья новогодняя ночь без него.
35. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
36. Ha 2-й день ещё вкycнее.
37. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
38. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
39. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
40. 28 kулинарных tohкостей на вec 3 олота.
41. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
42. Творожный чизкейк. Ингредиенты:
43. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
44. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
45. Морозостойкие сорта гибридной хурмы.
46. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
47. Маленькая шпаргалка по томатам.
48. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
49. Чем мульчировать малину осенью для защиты корней?
50. Учёные выяснили, что качки сильнее других страдают от укусов комаров.