Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
2. В Египте экстренно отменили все популярные морские экскурсии.
3. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
4. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
5. Роза осирия - магия двух оттенков.
6. Так томаты в теплицу не просто так высаживают.
7. Возможную блокировку Github снова обсуждают в России.
8. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
9. Сон при свете повышает риск ожирения.
10. В России запретят параллельный импорт компьютерной техники с 27 мая.
11. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
12. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
13. Кейсы в CS2 и паки Fifa предложили запретить в России.
14. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
15. Слова - обереги, которые важно знать:
16. Все лето держу окна в доме отрытыми и не боюсь комаров.
17. Нежный пирог черный принц из варенья.
18. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
19. Hикогда не ставьте забор обратной стороной к соседу!
20. Mинтай можно без особого труда приготовить вкусно.
21. Как заставить замиокулькас активно выпускать новые побеги.
22. Стильное оформление квартиры.
23. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
24. Caлат с куpицeй и aнанасами.
25. Не пробовали посадить лук китайским способом?
26. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
27. Моя соседка никак не могла продать дорогущий антикварный комод.
28. Мощный шторм на Москву надвигается.
29. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
30. Секрет крупного озимого чеснока - простая подкормка при посадке!
31. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
32. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
33. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
34. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
35. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
36. Грим в кино - это не просто макияж, а важная часть создания образа героя.
37. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
38. Топ-10 открытых веб-кравлеров 2025 года: выбор для каждого
39. Лучшие API и инструменты для веб-скраппинга 2025: что выбрать
40. Топ-10 инструментов для сбора данных: лучшие сервисы для веб-скраппинга
41. Топ-11 лучших инструментов для веб-скраппинга в 2025 году
42. Какие исторические места Москвы связаны с наполеоновским вторжением
43. Экспертный выбор: 15 лучших шаред- прокси 2025 года
44. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
45. Как выбрать идеального провайдера резидентных прокси-серверов для вашего бизнеса
46. Строительство цветника из бетона - это отличный способ создать долговечное и эстетичное оформление вашего сада или приусадебного участка.
47. Бородач - это редкий горный хищник из семейства ястребиных, обитающий в горах Европы, Азии и Африки.
48. Настоящее звёздное небо видно только вдали от городов, где нет светового загрязнения.
49. Как заказать товары с Amazon в Россию в 2025 году: пошаговая инструкция
50. Лучшие прокси для Instagram 2025: полный обзор и рейтинг