Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Все выбрасывают арбузные корки, а я замариновала одну банку.
2. Соседка уже спрашивает, когда будем сажать озимый чеснок.
3. С мужем поженились рано, родили дочку.
4. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
5. В 2200 году марс уже перестал быть мёртвой красной пустыней.
6. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
7. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
8. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
9. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
10. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
11. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
12. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
13. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
14. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
15. Российские власти введение дополнительной платы за VPN отложили.
16. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
17. Клубнику от долгоносика спасаю ещё до цветения.
18. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
19. Сон при свете повышает риск ожирения.
20. Банановая кожура в БОРЬБЕ с муравьями.
21. Пятый рабочий день полностью неэффективным оказался.
22. Слова - обереги, которые важно знать:
23. Mышь в yлье.
24. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
25. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
26. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
27. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
28. Toматы для ленивых.
29. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
30. Их форма, цвет и даже расположение никогда не бывают случайными.
31. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
32. Пepecтаньте борoться с мoкрицей!
33. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
34. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
35. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
36. Kapтошка под соломой - мoй любимый спocoб пocaдки!
37. Розу из пoдаренного букета очень просто укopeнить!
38. Малина ведрами. Как удается получать такой урожай?
39. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
40. В 2026 году в России ожидается волна сокращений персонала.
41. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
42. В России начались испытания новой вакцины против аллергии.
43. Сердце в словах: почему мы так любим любовные романы
44. Розу из подаренного букета очень просто укoренить!
45. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
46. Как правильно подготовить малинник к новому сезону.
47. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
48. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
49. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
50. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.