Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Здоровый быт начинается с внимания к предметам, которые вас окружают.
2. В Египте экстренно отменили все популярные морские экскурсии.
3. Российские медики о резком росте опасных кишечных инфекций предупредили.
4. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
5. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
6. Я не люблю формулировку "мы Встречаемся".
7. Моя мама очень долго болью в коленях мучилась.
8. В популярных духах обнаружили потенциально опасные вещества.
9. Повеяло летом. Клубника рекорд установила.
10. Как подкормить малину весной для крупных и сладких ягод.
11. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
12. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
13. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
14. Чем подкормить рассаду перца для мощных корней.
15. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
16. Kак победить пырей на участке.
17. Этой весной Россию накроет массовое нашествие комаров и клещей.
18. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
19. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
20. Пeченочные котлеты с необычным ингредиентом.
21. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
22. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
23. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
24. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
25. Рецепт плюшек: Ингредиенты для опары:
26. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
27. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
28. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
29. Насыпной пирог с творожной начинкой.
30. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
31. Учёные в вейпах следы фекалий обнаружили.
32. А вы знали, что если у девушки долго не было Seksa, то она ….
33. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
34. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
35. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
36. Создать овальные подносы можно легко, используя только свои руки.
37. Чем подкармливать морковь в конце лета.
38. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
39. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
40. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
41. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
42. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
43. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
44. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.
45. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
46. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
47. Полное руководство по Instagram прокси 2025: как освоить социальные сети
48. Альпинисты, которые покоряют снежные и высокие горы, всегда рискуют многим.
49. Тренировки с резинками и ковриком - отличный способ развивать силу и выносливость, не перегружая суставы.
50. Инуиты - коренные жители Арктики, населяющие Гренландию, север Канады, Аляску и некоторые районы России.