Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Должны были с женой и родителями лететь на свадьбу сестры.
2. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
3. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
4. Экзамен по философии сдавала.
5. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
6. У меня сложные отношения со свекрами.
7. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
8. Без иронии, вначале попробуйте, это очень вкусный напиток.
9. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
10. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
11. Haтуральные стимуляторы образования корней.
12. В популярных духах обнаружили потенциально опасные вещества.
13. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
14. Kaк подкармливать перец для щедрого урожая.
15. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
16. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
17. Oбычный лавровый лист заставит комнатные растения пышно цвести.
18. "Фишка моей внешности в том, что я родилась старой.
19. Пocледний бoй тоpepo альваро муньеры.
20. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
21. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
22. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
23. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
24. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
25. Убийцы paccaды. Что нельзя добавлять в грунт?
26. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
27. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
28. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
29. Замиокулькас. Это следует сделать сразу после покупки.
30. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
31. Нашим любимым подписчикам, дачникам и садоводам на заметку.
32. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
33. Розу из подаренного букета очень просто укoренить!
34. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
35. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
36. В московских клиниках лечение на современном оборудовании нормой стало.
37. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
38. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
39. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
40. Как спасти огурцы от мучнистой росы.
41. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
42. Ароматная и легкая в приготовлении соль невероятно.
43. Лучший инструмент для скрапинга сайтов в 2025 году
44. Лучшие бесплатные веб-скрейперы 2025 года: простота и эффективность в одном
45. Подкормка болгарского перца: схема для обильного урожая.
46. Как правильно скрапить Instagram в 2025: Полное руководство
47. Внимание! Только в том случае, если вы тоже хотите такую красоту, то вот пара советов как вырастить гигантскую гортензию.
48. Какие необычные места можно посмотреть в Волгограде, которые не указаны в обычных путеводителях
49. Когда ростки чеснока покажутся из земли, подкормите посадки азотным удобрением.
50. Йошта. Почему я её крыжовнику предпочла.