Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Полёты к луне снова реальностью спустя десятилетия стали.
2. Исследование рост половой дисфункции среди молодого поколения показало.
3. Последний защитник брестской крепости.
4. Топ - 7 наборов семян, которые должны быть у каждого!
5. Домашний интернет в России начали ограничивать для активных пользователей.
6. Когда вид на озеро главным элементом проекта дома становится.
7. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
8. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
9. Сekрет пышной и сладкой морковки - простая подкормка!
10. Японские учёные о прорыве в борьбе с облысением заявили.
11. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
12. Дочь марии Шукшиной раскрыла боль семейных отношений.
13. Сыплю под Смородину весной по две ложки.
14. Не у всех укроп растёт как сорняк, в огромных количествах.
15. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
16. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
17. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
18. Фильм, который меняет стереотипное представление об атомной энергетике.
19. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
20. Полезная памятка средств для сада и огорода.
21. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
22. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
23. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
24. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
25. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
26. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
27. Зола для огурцов: когда и как подкармливать правильно?
28. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
29. Удобрение пионов. 1 этап - как тoлькo пoявятся мoлoдые рoстки, залейте в ямку у кoрней раствoр аммиачнoй селитры (15 г. на 10 л. вoды.
30. Топ-10 инструментов для сбора данных: лучшие сервисы для веб-скраппинга
31. Исследование подчёркивает влияние социальных стереотипов на профессиональную реализацию россиян с лишним весом.
32. Лучшие бесплатные прокси-провайдеры: топовый рейтинг
33. Высадка голубики - как правильно посадить и вырастить здоровую и вкусную ягоду.
34. Посев астры: 3 правила успеха.
35. Южноамериканская гарпия - одна из самых мощных хищных птиц на планете.
36. Народные методы избавления от травы на садовых дорожках:
37. Габионы - это такие красивые и прочные конструкции, которые используют для укрепления берегов, создания декоративных стен и ландшафтных украшений.
38. Капуста - королева огорода, но и она нуждается в уходе.
39. Томатный гном розовая пантера.
40. Топ-5 поставщиков прокси-серверов 2025: какие лучше выбрать
41. Топ 10 прокси-серверов 2025: самые быстрые и безопасные варианты
42. Лучшие приватные прокси 2025: Надежность и безопасность
43. Какие активности можно провести в парках Москвы
44. HTTP-прокси: что это такое и как он работает
45. Секреты стройности: как достичь идеальных форм
46. Идеальная женская фигура 2025: как изменятся стандарты красоты
47. Есть ли в Калининграде музеи, которые стоит посетить
48. Какие парки и скверы популярны среди туристов
49. Что продавать на Amazon FBA: полное руководство по выбору продукции
50. Ловите рецепт вкусного и полезного облепихового чая для поддержания иммунитета в холодное время года!