Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
2. Российские власти введение дополнительной платы за VPN отложили.
3. 10 худших цветов для дачи.
4. Haтуральные стимуляторы образования корней.
5. Хитрости выращивания кабачков:
6. Пятый рабочий день полностью неэффективным оказался.
7. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
8. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
9. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
10. Трещины на тротуарах превращаются в целые миры художника.
11. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
12. Пpичины, пoчему уcыхает чеснок при хранении.
13. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
14. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
15. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
16. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
17. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
18. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
19. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
20. Мы удобряeм сливу правильно!
21. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
22. В России отложили введение нового утильсбора для автомобилей.
23. Как ухаживать за астрами для пышного цветения.
24. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
25. Маленькая шпаргалка по томатам.
26. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
27. Эти малыши, размером 5-10 см.
28. Как понять, что тыква созрела?
29. Что делать с кустами смородины после сбора урожая?
30. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
31. Вот ещё пару советов, как держать гриль чище.
32. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
33. Топ-15 лучших инструментов для веб-скраппинга в 2025 году
34. Лучший инструмент для скрапинга сайтов в 2025 году
35. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
36. Топ-13 расширений Chrome для веб-скраппинга в 2025 году: обзор и рекомендации
37. ТОП-18 лучших прокси для Telegram 2025
38. Альпинисты, которые покоряют снежные и высокие горы, всегда рискуют многим.
39. Топ-15 прокси-сервисов 2025 года: Надёжные и быстрые
40. Топ-15 сервисов для роста в Instagram 2025: Рейтинг лучших инструментов
41. Какие необычные места можно посмотреть в Волгограде, которые не указаны в обычных путеводителях
42. Актёр Джонни депп не раз появлялся в образе капитана Джека воробья в детских больницах, вызывая улыбки у маленьких пациентов.
43. Как использовать публичные SOCKS5 прокси в Telegram
44. Пирс броснан - известный актёр, а его жена кили Шэй Смит талантливая журналистка и активистка.
45. Как быстро вырастить базилик?
46. Мы превращаем петунии в ФЕЙЕРВЕРК цветов.
47. Какие исторические события связаны с Кремлем и Красной площадью
48. Как приготовить питательную почвосмесь для любой рассады.
49. Free Instagram Proxy List API: Надежное и эффективное решение
50. Графитовый цвет - тренд в строительстве 2025 года.