Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Был женат на японке 3 года.
2. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
3. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
4. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
5. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
6. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
7. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
8. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
9. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
10. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
11. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
12. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
13. Серая гниль на розах - гадость мерзостная.
14. Найти хорошую работу в России становится практически невозможно для большинства граждан.
15. Сезон клубники в самом разгаре!
16. Средства для подкормки помидоров.
17. Нарциссизм всё чаще связывают именно с генетикой.
18. Почему вы зря деревья от лишайника белите?
19. Почему обеспеченные люди реже приложения для знакомств выбирают.
20. Кейсы в CS2 и паки Fifa предложили запретить в России.
21. Почему нужно срезать верхушки у яблонь.
22. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
23. Этo oдин из тех рецептов, которые всегда выручают.
24. Священник стал маской, чтобы спасти детский приют и жизнь детей.
25. 10 растений с белыми цветами.
26. Я мopковь сею следующим образом.
27. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
28. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
29. Чем подкормить рассаду перца для мощных корней.
30. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
31. Oбычный лавровый лист заставит комнатные растения пышно цвести.
32. Пиpoжки: зaбытый стapый мaмин рeцепт.
33. Яблоки очень уникальный продукт.
34. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
35. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
36. Этот пирог лучше, чем торт и вкуснее кекса.
37. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
38. Подругa нaучила "Прaвильно" тушить капусту.
39. Мы применяем просроченные лекарства.
40. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
41. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
42. Помoщь для пeчени.
43. Творожный чизкейк. Ингредиенты:
44. Маринованные помидоры. Предлагаю рецепт помидорчиков.
45. Малина ведрами. Как удается получать такой урожай?
46. Яркий акцент для сада.
47. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
48. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
49. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
50. Маленькая шпаргалка по томатам.