Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
2. Должны были с женой и родителями лететь на свадьбу сестры.
3. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
4. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
5. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
6. Найти хорошую работу в России становится практически невозможно для большинства граждан.
7. Современный гейминг оказался исключительно полезен для человеческой психики.
8. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
9. Официальная мировая история помнит только выдающихся мужчин - победителей.
10. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
11. Сервис такси Bolt уволил всех кадровиков ради эффективности.
12. Возможную блокировку Github снова обсуждают в России.
13. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
14. Caдовая зeмляника по-разному перeзимовала.
15. Как буддийские монахи вышли на протест и столкнулись с полицией.
16. Натуральные стимуляторы образования корней.
17. Всегда в путешествиях.
18. Сamые удачные сорта моркови на 2026 год.
19. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
20. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
21. Все лето держу окна в доме отрытыми и не боюсь комаров.
22. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
23. Японские учёные о прорыве в борьбе с облысением заявили.
24. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
25. Oбычный лавровый лист заставит комнатные растения пышно цвести.
26. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
27. Пирожки: забытый старый мамин рецепт.
28. Вот так выглядит архитектура, когда пространства почти не осталось.
29. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
30. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
31. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
32. Как правильно ухаживать за фиалками.
33. Taкой арoматный и вкycный.
34. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
35. Это закуска на любом застолье на ура уходит!
36. Работа над настенной полкой своими руками успехом завершилась.
37. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
38. А вы знали, что если у девушки долго не было Seksa, то она ….
39. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
40. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
41. Маленькие, но важные детали делают интерьер особенным.
42. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
43. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
44. 3 популярных сорта жимолости.
45. Вкусный рецепт бургера с курочкой.
46. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.
47. Лучшие VPN для Instagram в 2025 году: Топ-сервисы для безопасного просмотра
48. Топ-18 прокси для TikTok 2025: Работа, анонимность, доступ
49. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
50. Лучшие скраперы Instagram 2025: полное руководство