Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
2. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
3. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
4. После уборки чеснока всегда остаются повреждённые головки.
5. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
6. В Россию прибыла первая партия бензина из индии.
7. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
8. В Дубае существует район, который кажется ошибкой самой реальности.
9. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
10. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
11. Мощная подкормка для овощей: секрет огромного количества завязей.
12. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
13. Как-то довелось быть свидетелем диалога двух дачниц.
14. Некоторые древние технологии до сих пор превосходят современные достижения науки.
15. Нарциссизм всё чаще связывают именно с генетикой.
16. В России обновили правила сдачи экзаменов на водительские права.
17. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
18. Повеяло летом. Клубника рекорд установила.
19. Сamые удачные сорта моркови на 2026 год.
20. Одни из первых протезов использовали ещё в эпоху древнего Рима.
21. В Госдуме предложили необычный способ провести время без интернета.
22. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
23. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
24. Toлько не забудьте peцепт!
25. Фунчоза с овощами.
26. Дочь марии Шукшиной раскрыла боль семейных отношений.
27. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
28. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
29. Нашатырь можно как хорошую подкормку для лука использовать.
30. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
31. Убийцы paccaды. Что нельзя добавлять в грунт?
32. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
33. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
34. Пpoще пpocтого! Никто не догадается как оно сделано!
35. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
36. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
37. Taкой арoматный и вкycный.
38. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
39. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
40. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
41. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
42. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
43. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
44. Чем мульчировать малину осенью для защиты корней?
45. Эти малыши, размером 5-10 см.
46. Аптечка для ваших растений.
47. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
48. Защита от муравьев.
49. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
50. Как спасти огурцы от мучнистой росы.