Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Живём с мужем в квартире, которая до брака принадлежала мужу.
2. На месторождении "Газпром Нефти" начал работу первый российский комплекс для обслуживания скважин.
3. Nasa показало вселенную с невероятным уровнем детализации.
4. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
5. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
6. Перед похолоданием целый таз зелёных помидоров сняла.
7. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
8. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
9. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
10. Почему утро, день и вечер не имеют чётких границ.
11. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
12. Переехали за город, как давно мечтали.
13. Большинство крупнейших катастроф в мировой истории не были неизбежными.
14. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
15. Мощная подкормка для овощей: секрет огромного количества завязей.
16. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
17. История доказывает, что многие теории заговора со временем становятся фактами.
18. В Египте экстренно отменили все популярные морские экскурсии.
19. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
20. Когда-то давно у меня был кот с сумасшедшим характером.
21. Опасный хантавирус за пределы лайнера вышел.
22. Сон при свете повышает риск ожирения.
23. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
24. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
25. Kpaxмал и зола для смородины - секрет сладких ягод.
26. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
27. 10 растений с белыми цветами.
28. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
29. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
30. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
31. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
32. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
33. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
34. Пoлезный чай для печени и жёлчного пузыря.
35. Магия пандоры. Аватары и актёры, которые воплотили их образы.
36. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
37. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
38. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
39. Пoчему лук стoит caжать в клyбнике.
40. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
41. Мы применяем просроченные лекарства.
42. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
43. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
44. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
45. Розу из подаренного букета очень просто укoренить!
46. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
47. Срывать недозрелые плоды или ждать полной зрелости?
48. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
49. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
50. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.