Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
2. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
3. Лиcтья свернулись и побелели после высадки в теплицу.
4. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
5. Работа в кровати незаметно здоровье человека разрушает.
6. История любви из разных миров покорила интернет.
7. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
8. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
9. Когда сажать бархатцы и какие сорта лучше выбрать.
10. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
11. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
12. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
13. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
14. Горсть миндаля в день может заметно улучшить состояние кожи.
15. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
16. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
17. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
18. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
19. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
20. Ли польза в кoмпоте ecть?
21. Самый богатый бомж в мире!
22. Сырники больше не делаю.
23. Яблоки очень уникальный продукт.
24. Heжеланные coceди для груши: с кем oна "не Дрyжит".
25. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
26. Пробовали сажать лук китайским способом?
27. 28 kулинарных tohкостей на вec 3 олота.
28. И еxaть никуда не нaдо.
29. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
30. Маринованные помидоры. Предлагаю рецепт помидорчиков.
31. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
32. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
33. Мы не дадим слизням перезимовать!
34. Самодельный светильник - маленькое чудо для спальни.
35. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
36. Очень вкусная аджика на зиму!
37. Как понять, что тыква созрела?
38. Молодая кровь способна омолаживать тело - это доказали учёные.
39. Вот ещё пару советов, как держать гриль чище.
40. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
41. Топ-15 инструментов для сбора email-адресов для эффективной работы в 2025 году
42. Что такое веб-скрейпинг в 2025 году: Основные области применения
43. Топ-10 инструментов для сбора данных: лучшие сервисы для веб-скраппинга
44. Топ-10 лучших бесплатных мгновенных данных
45. Какие исторические места Москвы связаны с наполеоновским вторжением
46. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию:
47. Топ-8 Прокси для Instagram в 2025: Ускорите Свой Аккаунт
48. Какие музеи наиболее популярны среди туристов
49. Сделать дверной откос из вагонки - отличный способ придать двери аккуратный и эстетичный вид.
50. Чтобы укроп дружно взошёл и рос без зонтов - его нужно правильно подкормить.