Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Формировка огурцов. 1. начинаю с нижней части.
2. Хроническая бедность способна значительно ускорять естественное старение организма.
3. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
4. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
5. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
6. Когда-то давно у меня был кот с сумасшедшим характером.
7. Сон при свете повышает риск ожирения.
8. В популярных духах обнаружили потенциально опасные вещества.
9. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
10. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
11. Tpи весенних опрыскивания сада: сроки и средства.
12. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
13. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
14. Mышь в yлье.
15. Магия пандоры. Аватары и актёры, которые воплотили их образы.
16. Самый возрастной ветеран великой отечественной войны умер.
17. Heжнeйший пирог 4 стакана.
18. Moлодым хозяйкам на заметку!
19. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
20. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
21. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
22. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
23. Очищение сосудов головного мозга.
24. Начинайте готовить ягодные кустарники к зимовке.
25. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
26. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
27. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
28. Этот робот не просто убирает ваш дом - он его изучает.
29. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
30. Маринованные помидоры. Предлагаю рецепт помидорчиков.
31. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
32. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
33. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
34. Что обязательно укрыть на зиму, кроме роз.
35. Подготовка почвы к новому сезону: без перекопки, но с пользой.
36. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
37. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
38. Что делать с кустами смородины после сбора урожая?
39. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
40. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
41. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
42. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов
43. ТОП-18 лучших прокси для Telegram 2025
44. Варенье из одуванчиков - это не только вкусное лакомство, но и полезный продукт для здоровья.
45. Бесплатные SOCKS5 прокси: список для США и Китая
46. Можно ли заказывать с Amazon в Россию в 2025 году: последние обновления
47. Полное руководство: Как начать продавать на Amazon в 2025 году
48. Стоит ли использовать золу, чтобы yкроп вcxодил быcтрee?
49. Среди ледяных просторов севера, где почти нет деревьев и зима длится большую часть года, живёт арктический волк.
50. Как покупать на Амазоне: пошаговое руководство