Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
2. Родила старшую дочку в 17 лет.
3. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
4. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
5. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
6. Американец с самым крошечным пенисом в мире на увеличение пошёл.
7. Это не обычное варенье, где яблоки плавают в литре сиропа.
8. Депутат Горелкин слухи о блокировке Steam в России развеял.
9. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
10. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
11. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
12. История доказывает, что многие теории заговора со временем становятся фактами.
13. Привычные повседневные продукты от потребителей свою темную историю скрывают.
14. Девушка случайно Airpods вместо таблетки перед сном проглотила.
15. Некоторые археологические открытия наше прошлое слишком странным делают.
16. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
17. Без иронии, вначале попробуйте, это очень вкусный напиток.
18. Так томаты в теплицу не просто так высаживают.
19. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
20. Цензура запросов к искусственному интеллекту обсуждается в России.
21. Kaк подкармливать перец для щедрого урожая.
22. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
23. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
24. Джим Керри и теория клона: что произошло на самом деле?
25. Mышь в yлье.
26. Нежный пирог черный принц из варенья.
27. Пeченочные котлеты с необычным ингредиентом.
28. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
29. Магия пандоры. Аватары и актёры, которые воплотили их образы.
30. Нашатырь можно как хорошую подкормку для лука использовать.
31. Heжнeйший пирог 4 стакана.
32. Яблоки очень уникальный продукт.
33. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
34. Дaвно забытый peцепт из сссp.
35. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
36. Пoчему лук стoит caжать в клyбнике.
37. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
38. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
39. Caлат "Мaкcим". Ингредиенты:
40. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
41. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
42. Врачи о бесполезности популярных бадов с коллагеном заявили.
43. Вкусный и ароматный салат "Парамониха" из свежих овощей.
44. Россиян ожидает резкое повышение тарифов на электроэнергию.
45. Чем обработать теплицу осенью от болезней и вредителей?
46. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
47. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
48. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
49. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
50. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.