Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
2. Nasa показало вселенную с невероятным уровнем детализации.
3. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
4. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
5. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
6. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
7. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
8. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
9. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
10. Всю жизнь терпеть не могу своё имя - Валентина.
11. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
12. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
13. Переехали за город, как давно мечтали.
14. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
15. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
16. Формировка огурцов. 1. начинаю с нижней части.
17. Хроническая бедность способна значительно ускорять естественное старение организма.
18. Дочку с самого детства учила нести ответственность за свои поступки.
19. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
20. Мастурбация у птиц абсолютно естественным поведением оказалась.
21. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
22. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
23. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
24. Обычный поход в туалет потерей памяти закончился.
25. Цветы для ленивого сада: посадил и забыл на все лето.
26. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
27. Повеяло летом. Клубника рекорд установила.
28. После того как рухнула советская власть, что сделали?
29. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
30. Когда сажать бархатцы и какие сорта лучше выбрать.
31. Как подкормить малину весной для крупных и сладких ягод.
32. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
33. Я мopковь сею следующим образом.
34. В Госдуме предложили необычный способ провести время без интернета.
35. 1941 год. Украина, первые месяцы оккупации.
36. Oгурцы будете рaздавать всем coceдям.
37. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
38. Дочь марии Шукшиной раскрыла боль семейных отношений.
39. Лепешки на кефире с начинкой.
40. Не у всех укроп растёт как сорняк, в огромных количествах.
41. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
42. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
43. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
44. Уже давно делаю по этому рецепту!
45. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
46. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
47. Создавать уют своими руками - значит делать интерьер уникальным.
48. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
49. Что обязательно укрыть на зиму, кроме роз.
50. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.