Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Кислую сливу, от которой за столом морщатся, я берегу для джема.
2. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
3. Выкопать свёклу - половина дела.
4. Яблок много - вроде радоваться надо.
5. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
6. Чем заболела груша и как ее лечить?
7. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
8. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
9. У моего отца дочь от первого брака была.
10. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
11. Думаю, моя мама не человек.
12. На море вляпалась в курортный роман.
13. Официальная мировая история находится намного ближе к нам, чем кажется.
14. Haтуральная защита капусты от вредителей.
15. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
16. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
17. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
18. На старости лет нашёл лайфхак для ловеласа.
19. Клубнику подкaрмливают три раза в гoд.
20. Российские медики о резком росте опасных кишечных инфекций предупредили.
21. Урологи из сша новую технологию увеличения разработали.
22. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
23. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
24. Турецкий огуречный салат.
25. Хитрости выращивания кабачков:
26. Кейсы в CS2 и паки Fifa предложили запретить в России.
27. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
28. Когда сажать бархатцы и какие сорта лучше выбрать.
29. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
30. Три народных средства для крепкой рассады томатов.
31. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
32. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
33. Ceкрет богатого урожая тoматов.
34. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
35. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
36. Как заставить замиокулькас активно выпускать новые побеги.
37. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
38. Замиокулькас. Это следует сделать сразу после покупки.
39. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
40. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
41. Топ - 5 идей для уюта на даче осенью.
42. Красивые садовые дорожки своими руками.
43. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
44. Как спасти огурцы от мучнистой росы.
45. Лето без арбуза и дыни - не лето!
46. Грим в кино - это не просто макияж, а важная часть создания образа героя.
47. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
48. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
49. Лишь в том случае, если клубника мельчает или ягод мало.
50. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.