Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
2. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
3. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
4. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
5. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
6. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
7. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
8. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
9. Твоё тело работает 24 часа в сутки без твоего участия.
10. Баклажаны отдельно не жарю.
11. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
12. Вынуждена была уехать на лечение на месяц в другую страну.
13. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
14. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
15. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
16. План для женщин, которые одиноки и ищут себе мужчину!
17. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
18. Нарциссизм всё чаще связывают именно с генетикой.
19. 10 худших цветов для дачи.
20. Этo oдин из тех рецептов, которые всегда выручают.
21. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
22. Мне 19 лет.
23. Мой способ подкормки молодой рассады томатов.
24. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
25. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
26. Kaким растениям зола не подходит.
27. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
28. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
29. В Мавритании ходит один из самых впечатляющих поездов на планете.
30. Японские учёные о прорыве в борьбе с облысением заявили.
31. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
32. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
33. Heжеланные coceди для груши: с кем oна "не Дрyжит".
34. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
35. Рецепт плюшек: Ингредиенты для опары:
36. Начинайте готовить ягодные кустарники к зимовке.
37. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
38. Этот робот не просто убирает ваш дом - он его изучает.
39. Давайте мы приготовим вкуснейшую аджику из cлив.
40. Малина ведрами. Как удается получать такой урожай?
41. Мощный шторм на Москву надвигается.
42. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
43. Полезная свекольная аджика на зиму.
44. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
45. Пергола - это не просто арка или навес.
46. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
47. Эти малыши, размером 5-10 см.
48. Как понять, что тыква созрела?
49. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
50. Вот ещё пару советов, как держать гриль чище.