Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Москвичка девять месяцев не подозревала, что носит ребёнка.
2. Недавно с мужем заселились в съёмную квартиру.
3. Один взлом может превратить умный пояс верности в настоящий замок.
4. Поссорились с женой.
5. Nasa показало вселенную с невероятным уровнем детализации.
6. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
7. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
8. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
9. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
10. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
11. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
12. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
13. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
14. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
15. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
16. Зеленый бочок у картошки: срезать или выбросить?
17. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
18. Сезон клубники в самом разгаре!
19. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
20. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
21. Привычные повседневные продукты от потребителей свою темную историю скрывают.
22. Добрый день! Вдруг кто с подобным … сталкивался.
23. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
24. С 1 сентября в России планируют обновить перечень медицинских специальностей.
25. Гигантский астероид скоро рядом с землёй пройдёт.
26. Цензура запросов к искусственному интеллекту обсуждается в России.
27. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
28. Три народных средства для крепкой рассады томатов.
29. 1941 год. Украина, первые месяцы оккупации.
30. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
31. Почeму чеснoк при хранении усыхает.
32. Пятьcot лет тому нaзад.
33. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
34. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
35. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
36. Магия пандоры. Аватары и актёры, которые воплотили их образы.
37. Нашатырь можно как хорошую подкормку для лука использовать.
38. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
39. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
40. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
41. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
42. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
43. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
44. Лучший способ хранения чеснока.
45. Конечно! Вот классический рецепт варенья из яблок с апельсином:
46. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
47. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
48. Срывать недозрелые плоды или ждать полной зрелости?
49. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
50. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.