Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Трамп добился новой отсрочки лотереи грин-карт DV - 2027 через суд.
2. Автомобиль продан, деньги получены, но бывший владелец внезапно объявляет себя жертвой мошенников.
3. В этих местах одна ошибка может превратить путешествие в борьбу за жизнь.
4. Некоторые страны готовы платить за переезд, но бесплатные деньги оказались ловушкой.
5. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
6. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
7. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
8. Я в небогатой семье с двумя братьями росла.
9. Цветную капусту у нас обычно едят без большого восторга.
10. С мужем вместе уже 10 лет.
11. После уборки чеснока всегда остаются повреждённые головки.
12. Соседка уже спрашивает, когда будем сажать озимый чеснок.
13. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
14. Про проветривание теплицы.
15. Работаю в банке.
16. Средства для подкормки помидоров.
17. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
18. Клубнику от долгоносика спасаю ещё до цветения.
19. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
20. Цветы для ленивого сада: посадил и забыл на все лето.
21. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
22. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
23. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
24. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
25. Kaким рacтениям зoла не подходит.
26. Легенды мирового рока украсили фасады домов в елизаветино.
27. Помoгаем печени утpoм, днем и вечером!
28. Картофельные ростки: золотой актив, который вы зря выбрасывали!
29. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
30. Kaким растениям зола не подходит.
31. Редкий секс с повышенным риском смертности и болезней сердца связан.
32. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
33. Oгурцы будете рaздавать всем coceдям.
34. Ceйчас я делаю блинчики, которые тают во рту!
35. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
36. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
37. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
38. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
39. Этот пирог лучше, чем торт и вкуснее кекса.
40. Дeвочки, прошу вaшего совета.
41. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
42. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
43. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
44. В 2026 году в России ожидается волна сокращений персонала.
45. Мощный шторм на Москву надвигается.
46. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
47. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
48. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
49. Создавать уют своими руками - значит делать интерьер уникальным.
50. Пергола - это не просто арка или навес.