Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
2. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
3. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
4. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
5. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
6. Переехали за город, как давно мечтали.
7. Думаю, моя мама не человек.
8. По вкусу, как мармелад: в сезон закрываю побольше.
9. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
10. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
11. В Египте экстренно отменили все популярные морские экскурсии.
12. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
13. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
14. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
15. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
16. Препараты от болезней томатов!
17. Турецкий огуречный салат.
18. Хитрости выращивания кабачков:
19. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
20. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
21. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
22. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
23. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
24. Kак победить пырей на участке.
25. Когда вид на озеро главным элементом проекта дома становится.
26. Всем садоводам нужно знать.
27. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
28. Магия пандоры. Аватары и актёры, которые воплотили их образы.
29. Пирожки: забытый старый мамин рецепт.
30. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
31. Вот так выглядит архитектура, когда пространства почти не осталось.
32. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
33. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
34. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
35. На заметку садоводам.
36. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
37. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
38. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
39. Арапайма звучит как имя из глубокой древности, и недаром.
40. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
41. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
42. Секрет крупного озимого чеснока - простая подкормка при посадке!
43. Яркий акцент для сада.
44. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
45. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
46. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
47. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
48. Не люблю отдых дальше своего города.
49. Топ-8 библиотек для веб-скраппинга на Python в 2025: что лучше выбрать
50. Лучшие инструменты для веб-скраппинга в 2025 году: что нужно знать