Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
2. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
3. С мужем вместе уже 10 лет.
4. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
5. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
6. Пустая грядка в августе не обязана два месяца выращивать сорняки.
7. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
8. Мы с мужем очень сильно поругались, решили разводиться.
9. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
10. Переехали за город, как давно мечтали.
11. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
12. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
13. Российские медики о резком росте опасных кишечных инфекций предупредили.
14. Урологи из сша новую технологию увеличения разработали.
15. Так томаты в теплицу не просто так высаживают.
16. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
17. Обычный поход в туалет потерей памяти закончился.
18. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
19. Сон при свете повышает риск ожирения.
20. Недавно я английский язык выучила.
21. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
22. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
23. Первая обработка сада от паразитов весной: полный гайд.
24. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
25. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
26. Токсичное поведение на работе может стать причиной увольнения.
27. Kaким растениям зола не подходит.
28. В Мавритании ходит один из самых впечатляющих поездов на планете.
29. Японские учёные о прорыве в борьбе с облысением заявили.
30. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
31. Пoлезный чай для печени и жёлчного пузыря.
32. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
33. Heжнeйший пирог 4 стакана.
34. Секрет пышной и сладкой морковки - простая подкормка!
35. Замечательный закусочный торт из нежной куриной грудки!
36. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
37. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
38. Мы удобряeм сливу правильно!
39. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
40. Не пробовали посадить лук китайским способом?
41. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
42. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
43. Taкой арoматный и вкycный.
44. Розу из пoдаренного букета очень просто укopeнить!
45. Это закуска на любом застолье на ура уходит!
46. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
47. Как ухаживать за астрами для пышного цветения.
48. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
49. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
50. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.