Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
2. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
3. В 11 лет я сломала нос.
4. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
5. На столе опять собралась миска яблок, которые никто не хотел есть.
6. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
7. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
8. Дочке десять лет, смотрится даже помладше из-за маленького роста.
9. МРТ Плода показывает мозг и глаза сквозь кости черепа.
10. Мы с мужем очень сильно поругались, решили разводиться.
11. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
12. Мне 37, молодая и здоровая была, но за год постарела.
13. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
14. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
15. Большинство крупнейших катастроф в мировой истории не были неизбежными.
16. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
17. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
18. Сделал тест днк на дочь - результат 0%.
19. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
20. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
21. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
22. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
23. У меня сложные отношения со свекрами.
24. Я не люблю формулировку "мы Встречаемся".
25. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
26. Почему вы зря деревья от лишайника белите?
27. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
28. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
29. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
30. В Мавритании ходит один из самых впечатляющих поездов на планете.
31. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
32. Она растёт в каждом саду и называется ведьмина трава.
33. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
34. Про выращивание укропа.
35. Этот робот не просто убирает ваш дом - он его изучает.
36. Учёные в вейпах следы фекалий обнаружили.
37. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
38. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
39. Секс помогает улучшать память - к такому выводу пришли американские учёные.
40. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
41. Недорогое средство от пятнистостей на розах.
42. Создавать своими руками - значит делать вещи особенными.
43. Что делать, если листья огурцов стали "Мраморные"?
44. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
45. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
46. Создать овальные подносы можно легко, используя только свои руки.
47. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
48. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
49. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
50. Вкусный рецепт бургера с курочкой.