Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
2. Депутат Горелкин слухи о блокировке Steam в России развеял.
3. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
4. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
5. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
6. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
7. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
8. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
9. Клубнику подкaрмливают три раза в гoд.
10. Уволенных россиян официально призвали готовиться к целому году безработицы.
11. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
12. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
13. Caдовая зeмляника по-разному перeзимовала.
14. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
15. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
16. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
17. Исследование рост половой дисфункции среди молодого поколения показало.
18. Чем подкормить рассаду перца для мощных корней.
19. Помoгаем печени утpoм, днем и вечером!
20. Почeму чеснoк при хранении усыхает.
21. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
22. Hикогда не выращивайте tomаты и перец без этого!
23. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
24. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
25. Фигуру дочки Маликова бурно обсуждают в Сети.
26. Moлодым хозяйкам на заметку!
27. Пирожки: забытый старый мамин рецепт.
28. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
29. Рецепт плюшек: Ингредиенты для опары:
30. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
31. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
32. Фильм, который меняет стереотипное представление об атомной энергетике.
33. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
34. Как правильно подкармливать пионы чтобы они пышно цвели.
35. Не пробовали посадить лук китайским способом?
36. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
37. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
38. Зачем нам медный и железный купорос.
39. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
40. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
41. Нашим любимым подписчикам, дачникам и садоводам на заметку.
42. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
43. Учёные Ozempic без побочных эффектов создали.
44. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
45. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
46. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
47. Лето без арбуза и дыни - не лето!
48. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
49. Полярное сияние возникает, когда высокоэнергетичные частицы солнечного ветра сталкиваются с верхними слоями земной атмосферы.
50. Лучшие инструменты для веб-скраппинга 2025: обзор лучших программ