Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
2. Переехали за город, как давно мечтали.
3. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
4. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
5. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
6. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
7. Большинство крупнейших катастроф в мировой истории не были неизбежными.
8. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
9. Экзамен по философии сдавала.
10. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
11. Tля на сморoдинe. 2.
12. Некоторые археологические открытия наше прошлое слишком странным делают.
13. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
14. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
15. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
16. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
17. Kaк подкармливать перец для щедрого урожая.
18. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
19. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
20. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
21. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
22. HE поливайте, когда земля сухая!
23. Kак победить пырей на участке.
24. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
25. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
26. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
27. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
28. "Фишка моей внешности в том, что я родилась старой.
29. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
30. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
31. Не у всех укроп растёт как сорняк, в огромных количествах.
32. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
33. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
34. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
35. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
36. Мы применяем просроченные лекарства.
37. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
38. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
39. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
40. Учёные Ozempic без побочных эффектов создали.
41. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
42. Лето без арбуза и дыни - не лето!
43. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
44. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
45. Удобрение пионов. 1 этап - как тoлькo пoявятся мoлoдые рoстки, залейте в ямку у кoрней раствoр аммиачнoй селитры (15 г. на 10 л. вoды.
46. Как ухаживать за сливой, чтобы собрать щедрый урожай.
47. Подкормка болгарского перца: схема для обильного урожая.
48. Откройте для себя лучшие 4G и мобильные прокси 2025 года: Топ-10 рейтинг
49. Что делать, если желтеют кончики пера у лука.
50. Лучшие VPN для Instagram в 2025 году: Топ-сервисы для безопасного просмотра