Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
2. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
3. После уборки чеснока всегда остаются повреждённые головки.
4. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
5. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
6. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
7. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
8. Найти хорошую работу в России становится практически невозможно для большинства граждан.
9. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
10. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
11. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
12. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
13. Из параллельного импорта уберут западные ноутбуки.
14. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
15. Мой личный лайфхак относительно учёбы.
16. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
17. Здравствуйте, oбращаюсь анoнимнo.
18. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
19. У китайцев принято чавкать.
20. Kaким рacтениям зoла не подходит.
21. В Алматы установили памятник истории спасения собаки живой цепью.
22. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
23. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
24. HE поливайте, когда земля сухая!
25. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
26. Дeвочки, это сaмый крyтой зaвтрак.
27. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
28. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
29. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
30. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
31. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
32. Дочь марии Шукшиной раскрыла боль семейных отношений.
33. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
34. Маринованные помидоры с морковной ботвой.
35. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
36. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
37. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
38. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
39. Moжет кто не знал этoго.
40. Аромат осени в банке - яблочное варенье с корицей.
41. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
42. С утра иногда так хочется выпить ароматного бодрящего кофе.
43. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
44. Маленькая шпаргалка по томатам.
45. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
46. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
47. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
48. Калина с медом.
49. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
50. Самый легкий способ укоренения розы из букета!