Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Чуть не оставила фасоль на грядке до полного высыхания.
2. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
3. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
4. На столе опять собралась миска яблок, которые никто не хотел есть.
5. Выкопать свёклу - половина дела.
6. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
7. Муж спросил, когда я сильнее всего пугалась в жизни.
8. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
9. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
10. Переехали за город, как давно мечтали.
11. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
12. Живу с родителями.
13. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
14. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
15. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
16. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
17. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
18. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
19. Пятый рабочий день полностью неэффективным оказался.
20. Священник стал маской, чтобы спасти детский приют и жизнь детей.
21. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
22. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
23. Все лето держу окна в доме отрытыми и не боюсь комаров.
24. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
25. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
26. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
27. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
28. Их форма, цвет и даже расположение никогда не бывают случайными.
29. Сырники больше не делаю.
30. Как заставить замиокулькас активно выпускать новые побеги.
31. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
32. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
33. Фильм, который меняет стереотипное представление об атомной энергетике.
34. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
35. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
36. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
37. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
38. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
39. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
40. Россиян ожидает резкое повышение тарифов на электроэнергию.
41. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
42. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
43. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
44. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
45. Эти малыши, размером 5-10 см.
46. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
47. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
48. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
49. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
50. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов: