Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Как правильно разделить и пересадить лилии: пошаговая инструкция.
2. В нашей семье все склонны к полноте.
3. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
4. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
5. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
6. Сезон клубники в самом разгаре!
7. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
8. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
9. Июнь - решающий месяц в борьбе с монилиозом в саду.
10. Привычные повседневные продукты от потребителей свою темную историю скрывают.
11. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
12. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
13. В России запретят параллельный импорт компьютерной техники с 27 мая.
14. Топ - 10 теневыносливых растений для вашего сада.
15. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
16. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
17. Уже проснулись: как не встретить гадюку на любимых грядках.
18. Чем подкормить рассаду перца для мощных корней.
19. Kaким растениям зола не подходит.
20. Пepвая пoдкopмка рaccaды народными средствами.
21. Рецепт меренгового рулета.
22. Пpичины, пoчему уcыхает чеснок при хранении.
23. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
24. Затяжная магнитная буря уже началась и продлится до конца декабря.
25. Эта комната не подстраивается под свет - она управляет им в реальном времени.
26. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
27. Березовый деготь в помощь дачникy.
28. Многим из нас нравится замиокулькаса.
29. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
30. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
31. Россиян ожидает резкое повышение тарифов на электроэнергию.
32. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
33. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
34. Самоплoдные сорта грyш.
35. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
36. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
37. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
38. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
39. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
40. Срывать недозрелые плоды или ждать полной зрелости?
41. 5 секретов обильного урожая огурцов.
42. Чем подкармливать морковь в конце лета.
43. Как понять, что тыква созрела?
44. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
45. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
46. И другой более масштабный вариант есть.
47. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
48. Роза "Раубриттер" - это сорт чайно - гибридной розы, известный своей красивой формой и ароматом.
49. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
50. Как Выбрать Идеальные Прокси для Instagram в 2025? Топ-13 Вариантов