Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Должны были с подружкой пойти в субботу на пробежку.
2. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
3. Цветы на томатах есть, а завязи нет: что я делаю в жару.
4. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
5. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
6. Дочку с самого детства учила нести ответственность за свои поступки.
7. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
8. На старости лет нашёл лайфхак для ловеласа.
9. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
10. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
11. Привычные повседневные продукты от потребителей свою темную историю скрывают.
12. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
13. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
14. Так томаты в теплицу не просто так высаживают.
15. Хотите получить огурцы без болезней и с хорошим здоровьем?
16. Советы дачникам. * Борная кислота:
17. Tpи весенних опрыскивания сада: сроки и средства.
18. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
19. В Алматы установили памятник истории спасения собаки живой цепью.
20. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
21. Этой весной Россию накроет массовое нашествие комаров и клещей.
22. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
23. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
24. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
25. Блaгоприятные дни для пoceва однолетников 2026 году.
26. Как заставить замиокулькас активно выпускать новые побеги.
27. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
28. Замечательный закусочный торт из нежной куриной грудки!
29. Затяжная магнитная буря уже началась и продлится до конца декабря.
30. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
31. Фильм, который меняет стереотипное представление об атомной энергетике.
32. Не пробовали посадить лук китайским способом?
33. Моя соседка никак не могла продать дорогущий антикварный комод.
34. Врачи о бесполезности популярных бадов с коллагеном заявили.
35. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
36. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
37. Это лучшее, что я когда-либо ела!
38. Конечно! Вот классический рецепт варенья из яблок с апельсином:
39. Какие лилии могут зимовать в грунте!
40. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
41. Как ухаживать за астрами для пышного цветения.
42. Маленькие, но важные детали делают интерьер особенным.
43. Что обязательно укрыть на зиму, кроме роз.
44. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
45. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
46. Лишь в том случае, если клубника мельчает или ягод мало.
47. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
48. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
49. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
50. Топ-11 выделенных прокси 2025: Надежные решения для ваших онлайн-нужд