Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
2. Кислую сливу, от которой за столом морщатся, я берегу для джема.
3. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
4. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
5. С мужем вместе уже 10 лет.
6. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
7. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
8. Муж постоянно по утрам будит.
9. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
10. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
11. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
12. Цветы на томатах есть, а завязи нет: что я делаю в жару.
13. Дeлaю yжe втopую нeдeлю.
14. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
15. Популярные суши и роллы официально признали настоящим суперфудом.
16. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
17. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
18. Я любовник замужней женщины.
19. Уволенных россиян официально призвали готовиться к целому году безработицы.
20. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
21. Банановая кожура в БОРЬБЕ с муравьями.
22. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
23. Этo oдин из тех рецептов, которые всегда выручают.
24. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
25. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
26. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
27. Домашний интернет в России начали ограничивать для активных пользователей.
28. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
29. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
30. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
31. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
32. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
33. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
34. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
35. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
36. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
37. Пирожки: забытый старый мамин рецепт.
38. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
39. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
40. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
41. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
42. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
43. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
44. Лучший способ хранения чеснока.
45. Мощный шторм на Москву надвигается.
46. Пурпурная малина - настоящая Находка для вашего сада!
47. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
48. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
49. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
50. Вкусный рецепт бургера с курочкой.