Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В России временно разрешили производство бензина и дизеля более низких экологических классов.
2. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
3. Малина в июне в правильной подкормке нуждается.
4. Клубнику от долгоносика спасаю ещё до цветения.
5. Так томаты в теплицу не просто так высаживают.
6. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
7. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
8. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
9. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
10. Почему нужно срезать верхушки у яблонь.
11. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
12. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
13. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
14. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
15. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
16. Слова - обереги, которые важно знать:
17. Никогда не выращивайте томаты и перец без этого!
18. Пepвая пoдкopмка рaccaды народными средствами.
19. Cвeжий укроп всегда под рукoй.
20. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
21. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
22. Moлодым хозяйкам на заметку!
23. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
24. Австралийская семья отказалась продать дом за 50 миллионов долларов.
25. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
26. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
27. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
28. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
29. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
30. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
31. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
32. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
33. Самодельный светильник - маленькое чудо для спальни.
34. В московских клиниках лечение на современном оборудовании нормой стало.
35. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
36. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
37. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
38. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
39. Ренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
40. ТОП-18 лучших прокси для Telegram 2025
41. Лучшие Instagram-прокси 2025: полное руководство
42. Роза плетистая раубриттер - это популярный сорт розы, известный своей красивой и пышной цветочной формой.
43. Экспертный выбор: 15 лучших шаред- прокси 2025 года
44. Топ-15 сервисов для роста в Instagram 2025: Рейтинг лучших инструментов
45. Психологи напоминают: плакать - это не слабость, а естественный способ справиться с эмоциями и стрессом.
46. Какие музеи наиболее популярны среди туристов
47. Йошта. Почему я её крыжовнику предпочла.
48. Бесплатные SOCKS5 прокси: список для США и Китая
49. Можно ли заказывать с Amazon в Россию в 2025 году: последние обновления
50. Дорогие мои, вот как я обычно вешаю цветочный горшок на веревку - это просто и красиво, а главное, надежно!