Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
2. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
3. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
4. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
5. Холодный душ - это не просто способ проснуться быстро.
6. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
7. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
8. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
9. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
10. Современный гейминг оказался исключительно полезен для человеческой психики.
11. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
12. Сезон клубники в самом разгаре!
13. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
14. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
15. Традиционные дипломные работы могут полностью исчезнуть из вузов.
16. Подорожник на участке: пора проверять почву!
17. Сamые удачные сорта моркови на 2026 год.
18. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
19. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
20. Трещины на тротуарах превращаются в целые миры художника.
21. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
22. Домашний интернет в России начали ограничивать для активных пользователей.
23. HE поливайте, когда земля сухая!
24. В Мавритании ходит один из самых впечатляющих поездов на планете.
25. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
26. Она растёт в каждом саду и называется ведьмина трава.
27. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
28. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
29. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
30. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
31. Как заставить замиокулькас активно выпускать новые побеги.
32. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
33. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
34. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
35. Чтo делает с оргahизмом всего одна хурма.
36. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
37. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
38. Лучший способ хранения чеснока.
39. Это лучшее, что я когда-либо ела!
40. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
41. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
42. Морозостойкие сорта гибридной хурмы.
43. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
44. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
45. Мы готовим малинник к следующему сезону правильно!
46. 3 популярных сорта жимолости.
47. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
48. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
49. Топ-10 открытых веб-кравлеров 2025 года: выбор для каждого
50. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts: