Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
2. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
3. Кислую сливу, от которой за столом морщатся, я берегу для джема.
4. Цветную капусту у нас обычно едят без большого восторга.
5. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
6. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
7. Еда - это язык, который понимают все без единого слова.
8. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
9. Дeлaю yжe втopую нeдeлю.
10. Мне 37, молодая и здоровая была, но за год постарела.
11. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
12. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
13. Здоровый быт начинается с внимания к предметам, которые вас окружают.
14. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
15. Июнь - решающий месяц в борьбе с монилиозом в саду.
16. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
17. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
18. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
19. Малина в июне в правильной подкормке нуждается.
20. Обычный поход в туалет потерей памяти закончился.
21. Мошенники фейковые сообщения от Telegram рассылают.
22. Я не люблю формулировку "мы Встречаемся".
23. Препараты от болезней томатов!
24. В популярных духах обнаружили потенциально опасные вещества.
25. Работа в кровати незаметно здоровье человека разрушает.
26. Священник стал маской, чтобы спасти детский приют и жизнь детей.
27. Советы дачникам. * Борная кислота:
28. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
29. Всем садоводам нужно знать.
30. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
31. Пятьcot лет тому нaзад.
32. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
33. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
34. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
35. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
36. Ли польза в кoмпоте ecть?
37. Начинайте готовить ягодные кустарники к зимовке.
38. Фильм, который меняет стереотипное представление об атомной энергетике.
39. Березовый деготь в помощь дачникy.
40. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
41. Этот робот не просто убирает ваш дом - он его изучает.
42. Маринованные помидоры. Предлагаю рецепт помидорчиков.
43. Чем обработать теплицу осенью от болезней и вредителей?
44. Какие лилии могут зимовать в грунте!
45. Яркий акцент для сада.
46. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
47. Топ - 5 идей для уюта на даче осенью.
48. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
49. 5 лучших подкормок для огорода - проверено на практике.
50. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.