Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
2. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
3. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
4. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
5. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
6. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
7. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
8. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
9. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
10. Современный гейминг оказался исключительно полезен для человеческой психики.
11. Официальная мировая история помнит только выдающихся мужчин - победителей.
12. Мы удаляем листья у томата по правилам!
13. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
14. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
15. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
16. Так томаты в теплицу не просто так высаживают.
17. С 1 сентября в России планируют обновить перечень медицинских специальностей.
18. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
19. Из параллельного импорта уберут западные ноутбуки.
20. Сон при свете повышает риск ожирения.
21. Хитрости выращивания кабачков:
22. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
23. Как подкормить малину весной для крупных и сладких ягод.
24. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
25. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
26. Moй споcoб подкopмки мoлодой рассады тoматов.
27. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
28. Обычный лавровый лист заставит комнатные растения пышно цвести.
29. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
30. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
31. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
32. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
33. Пeченочные котлеты с необычным ингредиентом.
34. Toматы для ленивых.
35. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
36. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
37. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
38. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
39. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
40. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
41. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
42. Насыпной пирог с творожной начинкой.
43. Этот робот не просто убирает ваш дом - он его изучает.
44. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
45. Творожный чизкейк. Ингредиенты:
46. Клубника на подоконнике - аромат лета круглый год!
47. Сердце в словах: почему мы так любим любовные романы
48. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
49. Острый соус, который можно замораживать.
50. Кто сказал, что шестиугольники только у пчёл?