Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. МРТ Плода показывает мозг и глаза сквозь кости черепа.
2. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
3. Вынуждена была уехать на лечение на месяц в другую страну.
4. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
5. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
6. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
7. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
8. В популярных духах обнаружили потенциально опасные вещества.
9. Ваши вопросы: пожелтела совсем туя после зимы.
10. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
11. 1941 год. Украина, первые месяцы оккупации.
12. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
13. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
14. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
15. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
16. Редкий секс с повышенным риском смертности и болезней сердца связан.
17. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
18. Ha втopoй день ещё вкуснее.
19. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
20. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
21. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
22. Фигуру дочки Маликова бурно обсуждают в Сети.
23. Heжнeйший пирог 4 стакана.
24. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
25. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
26. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
27. Давайте мы приготовим вкуснейшую аджику из cлив.
28. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
29. Лучший способ хранения чеснока.
30. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
31. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
32. Пурпурная малина - настоящая Находка для вашего сада!
33. Сердце в словах: почему мы так любим любовные романы
34. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
35. Начинайте готовить ягодные кустарники к холодам.
36. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
37. Малосольные помидорки по-армянски.
38. Красивые садовые дорожки своими руками.
39. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
40. Чем подкармливать морковь в конце лета.
41. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
42. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
43. Саженцы яблонь. Какие выбрать.
44. Лето без арбуза и дыни - не лето!
45. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
46. Удобрение пионов. 1 этап - как тoлькo пoявятся мoлoдые рoстки, залейте в ямку у кoрней раствoр аммиачнoй селитры (15 г. на 10 л. вoды.
47. Топ-10 инструментов для веб-скраппинга 2025: Ускорьте извлечение данных
48. Высший пилотаж на самолёте - это искусство управлять машиной так, чтобы она выполняла сложные фигуры в небе.
49. Откройте для себя лучшие 4G и мобильные прокси 2025 года: Топ-10 рейтинг
50. Что делать, если желтеют кончики пера у лука.