Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
2. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
3. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
4. Кислую сливу, от которой за столом морщатся, я берегу для джема.
5. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
6. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
7. С мужем вместе уже 10 лет.
8. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
9. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
10. Муж в последнее время крепко подсел на всякие мужские паблики.
11. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
12. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
13. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
14. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
15. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
16. Haтуральная защита капусты от вредителей.
17. Мощная подкормка для овощей: секрет огромного количества завязей.
18. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
19. Муж часто домашние дела на потом задвигает.
20. Привычные повседневные продукты от потребителей свою темную историю скрывают.
21. Нарциссизм всё чаще связывают именно с генетикой.
22. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
23. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
24. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
25. Как буддийские монахи вышли на протест и столкнулись с полицией.
26. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
27. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
28. Чем подкормить рассаду перца для мощных корней.
29. Легенды мирового рока украсили фасады домов в елизаветино.
30. Почeму чеснoк при хранении усыхает.
31. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
32. HE поливайте, когда земля сухая!
33. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
34. Редкий секс с повышенным риском смертности и болезней сердца связан.
35. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
36. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
37. Эта комната не подстраивается под свет - она управляет им в реальном времени.
38. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
39. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
40. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
41. Чем обработать теплицу осенью от болезней и вредителей?
42. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
43. Создавать уют своими руками - значит делать интерьер уникальным.
44. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
45. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
46. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
47. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
48. Эти малыши, размером 5-10 см.
49. Аптечка для ваших растений.
50. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.