Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Перед похолоданием целый таз зелёных помидоров сняла.
2. С мужем поженились рано, родили дочку.
3. В 2200 году марс уже перестал быть мёртвой красной пустыней.
4. Американец с самым крошечным пенисом в мире на увеличение пошёл.
5. МРТ Плода показывает мозг и глаза сквозь кости черепа.
6. Должны были с подружкой пойти в субботу на пробежку.
7. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
8. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
9. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
10. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
11. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
12. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
13. Почему желтеет лук и чеснок и как быстро их "Оживить".
14. Опасный хантавирус за пределы лайнера вышел.
15. В Москве предупредили о возможных ограничениях связи.
16. Туапсе экологическая катастрофа хуже анапской грозит.
17. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
18. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
19. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
20. Цензура запросов к искусственному интеллекту обсуждается в России.
21. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
22. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
23. Легенды мирового рока украсили фасады домов в елизаветино.
24. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
25. Редкий секс с повышенным риском смертности и болезней сердца связан.
26. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
27. Фунчоза с овощами.
28. Она растёт в каждом саду и называется ведьмина трава.
29. Пocледний бoй тоpepo альваро муньеры.
30. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
31. Когдa нeльзя сaжать и cеять.
32. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
33. Затяжная магнитная буря уже началась и продлится до конца декабря.
34. Этот пирог лучше, чем торт и вкуснее кекса.
35. Подругa нaучила "Прaвильно" тушить капусту.
36. Березовый деготь в помощь дачникy.
37. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
38. Моя соседка никак не могла продать дорогущий антикварный комод.
39. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
40. Вкусный и ароматный салат "Парамониха" из свежих овощей.
41. Формировать смородиновый куст можно как весной, так и осенью.
42. Конечно! Вот классический рецепт варенья из яблок с апельсином:
43. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
44. Малосольные помидорки по-армянски.
45. Чем мульчировать малину осенью для защиты корней?
46. Учёные Ozempic без побочных эффектов создали.
47. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
48. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
49. 5 лучших подкормок для огорода - проверено на практике.
50. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.