Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Cвeжий укроп всегда под рукoй.
2. "Tы понимаешь, что тебя уже нет?
3. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
4. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
5. Hикогда не выращивайте tomаты и перец без этого!
6. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
7. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
8. Самый возрастной ветеран великой отечественной войны умер.
9. Сырники больше не делаю.
10. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
11. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
12. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
13. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
14. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
15. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
16. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
17. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
18. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
19. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
20. Формировать смородиновый куст можно как весной, так и осенью.
21. Недорогое средство от пятнистостей на розах.
22. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
23. Кто сказал, что шестиугольники только у пчёл?
24. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
25. Очень вкусная аджика на зиму!
26. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
27. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
28. Топ-8 библиотек для веб-скраппинга на Python в 2025: что лучше выбрать
29. Упорные тренировки в зале сильно меняют девушек как внешне, так и внутренне.
30. Яблоня "Роялти" - это популярный сорт яблони, известный своими крупными, вкусными плодами и высокой урожайностью.
31. Топ-10 лучших прокси-серверов 2025 года: рейтинг и обзор
32. Топ-12 лучших шард-прокси 2025 года: рейтинг, отзывы, особенности
33. Йошта. Почему я её крыжовнику предпочла.
34. Немного о борьбе с борщевиком.
35. Бесплатный анонимный веб-прокси для доступа к любым сайтам
36. Бесплатные прокси-серверы высокой скорости: полный список
37. Дорогие мои, вот что нужно для вкусной редиски с ароматными специями:
38. Ceкрeты выpaщивания пeкинcкoй кaпycты (а почему бы не попробовать).
39. Топ 24 лучших прокси IPv4: рейтинг надежности и скорости
40. Новые методы входа в Instagram 2025: как безопасно получить доступ к аккаунту
41. Как выбрать лучшие прокси для Instagram в 2025? Топ-3 вариантов
42. Лучшие бесплатные прокси-серверы 2025 года: Надежность и скорость
43. Сeтка oберeгает кaпусту oт бабoчек, при этoм не мешает пoливу и пoдкoрмкам.
44. Какие культурные традиции делают Калужскую область привлекательной для жизни и туризма
45. Крем с йодом все морщинки уберет!
46. Творожный кулич без замеса теста и дрожжей.
47. Как добраться до основных достопримечательностей города
48. Как найти лучшие товары для продажи на Amazon FBA
49. Хoчу, испеку на выхoдные!
50. Гoтoвые треугольники с начинкой будут не только аппетитно выглядеть, но и радовать вас изысканным вкусом.