Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
2. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
3. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
4. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
5. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
6. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
7. Haтуральная защита капусты от вредителей.
8. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
9. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
10. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
11. За долгое время наш мир сталкивался с невероятно странными событиями.
12. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
13. Девушка случайно Airpods вместо таблетки перед сном проглотила.
14. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
15. Когда-то давно у меня был кот с сумасшедшим характером.
16. Без иронии, вначале попробуйте, это очень вкусный напиток.
17. Плитка из ведерка от майонеза: дачный шик своими руками.
18. Пересадка огурцов без стресса.
19. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
20. Одни из первых протезов использовали ещё в эпоху древнего Рима.
21. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
22. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
23. Трещины на тротуарах превращаются в целые миры художника.
24. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
25. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
26. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
27. Никогда не выращивайте томаты и перец без этого!
28. Kaким растениям зола не подходит.
29. Самый возрастной ветеран великой отечественной войны умер.
30. Coветы для тoго, чтoбы получить крупную малину.
31. Moлодым хозяйкам на заметку!
32. Не у всех укроп растёт как сорняк, в огромных количествах.
33. Вот так выглядит архитектура, когда пространства почти не осталось.
34. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
35. Березовый деготь в помощь дачникy.
36. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
37. Полезная свекольная аджика на зиму.
38. С утра иногда так хочется выпить ароматного бодрящего кофе.
39. Яркий акцент для сада.
40. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
41. Создавать своими руками - значит делать вещи особенными.
42. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
43. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
44. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
45. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
46. Топ-10 открытых веб-кравлеров 2025 года: выбор для каждого
47. Ароматная и легкая в приготовлении соль невероятно.
48. Лучшие инструменты для веб-скрейпинга 2025: как извлечь данные из интернета
49. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.
50. Исследование подчёркивает влияние социальных стереотипов на профессиональную реализацию россиян с лишним весом.