Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. На дороге опасность может возникнуть в любую секунду.
2. Меня вырастила бабушка.
3. Психологи связь депрессии с состоянием близкого окружения изучили.
4. Загадочные сигналы и необычные Находки продолжают будоражить воображение.
5. Трамп добился новой отсрочки лотереи грин-карт DV - 2027 через суд.
6. Человечество создало резервную копию урожая на случай катастрофы.
7. Некоторые страны готовы платить за переезд, но бесплатные деньги оказались ловушкой.
8. Москвичка девять месяцев не подозревала, что носит ребёнка.
9. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
10. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
11. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
12. В 11 лет я сломала нос.
13. На столе опять собралась миска яблок, которые никто не хотел есть.
14. После уборки чеснока всегда остаются повреждённые головки.
15. Клубника отплодоносила, но бросать её до весны нельзя.
16. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
17. Дочке десять лет, смотрится даже помладше из-за маленького роста.
18. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
19. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
20. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
21. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
22. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
23. Июнь - решающий месяц в борьбе с монилиозом в саду.
24. Привычные повседневные продукты от потребителей свою темную историю скрывают.
25. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
26. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
27. Обычный поход в туалет потерей памяти закончился.
28. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
29. Уже проснулись: как не встретить гадюку на любимых грядках.
30. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
31. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
32. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
33. Все лето держу окна в доме отрытыми и не боюсь комаров.
34. Фунчоза с овощами.
35. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
36. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
37. Mинтай можно без особого труда приготовить вкусно.
38. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
39. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
40. Простое клубничное варенье.
41. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
42. Caлат "Мaкcим". Ингредиенты:
43. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
44. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
45. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
46. Морозостойкие сорта гибридной хурмы.
47. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
48. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
49. Маленькая шпаргалка по томатам.
50. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.