Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
2. Я любовник замужней женщины.
3. Уволенных россиян официально призвали готовиться к целому году безработицы.
4. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
5. Что я делаю с чесноком, чтобы он снова стал зелёным.
6. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
7. Мошенники фейковые сообщения от Telegram рассылают.
8. Цветы для ленивого сада: посадил и забыл на все лето.
9. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
10. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
11. Сamые удачные сорта моркови на 2026 год.
12. Kpaxмал и зола для смородины - секрет сладких ягод.
13. В Госдуме предложили необычный способ провести время без интернета.
14. В России обсуждают усиление контроля переписок с помощью ИИ.
15. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
16. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
17. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
18. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
19. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
20. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
21. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
22. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
23. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
24. Арапайма звучит как имя из глубокой древности, и недаром.
25. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
26. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
27. Ни один шашлычек у нас не обходят без этой закуски!
28. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
29. Пергола - это не просто арка или навес.
30. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
31. Защита от муравьев.
32. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
33. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
34. Какие макроэлементы важны для томатов и как распознать их нехватку?
35. Полярное сияние возникает, когда высокоэнергетичные частицы солнечного ветра сталкиваются с верхними слоями земной атмосферы.
36. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
37. Лучшие инструменты для веб-скраппинга в 2025 году: что нужно знать
38. Топ-11 лучших инструментов для веб-скраппинга в 2025 году
39. Откройте для себя лучшие 4G и мобильные прокси 2025 года: Топ-10 рейтинг
40. Модульная зона барбекю - это современное решение для организации комфортной и функциональной зоны для приготовления и отдыха на открытом воздухе.
41. Что делать, если желтеют кончики пера у лука.
42. Топ-20+ Резидентные Прокси 2025: Надежные и Эффективные
43. Как Выбрать Идеальные Прокси для Snapchat в 2025: Топ-16
44. Подготовка девушек - футболисток к новому сезону - это сочетание выносливости, силы и точной дисциплины.
45. Опасные растения для дачи!
46. Настоящее звёздное небо видно только вдали от городов, где нет светового загрязнения.
47. Здорово, дружище! Сейчас расскажу тебе, как правильно выбрать и подключить сифон - чтобы всё было надежно и без головной боли.
48. Посетители вулкана спускаются вниз, когда на Этне началось извержение.
49. Как покупать на Амазоне: пошаговое руководство
50. Лучшие вращающиеся резидентные прокси 2025 года: рейтинг и обзор