Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
2. Моего кота зовут заяц.
3. Уволенных россиян официально призвали готовиться к целому году безработицы.
4. В Египте экстренно отменили все популярные морские экскурсии.
5. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
6. Хотите получить огурцы без болезней и с хорошим здоровьем?
7. Моя мама очень долго болью в коленях мучилась.
8. В популярных духах обнаружили потенциально опасные вещества.
9. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
10. У китайцев принято чавкать.
11. Мой способ подкормки молодой рассады томатов.
12. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
13. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
14. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
15. HE поливайте, когда земля сухая!
16. Никогда не выращивайте томаты и перец без этого!
17. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
18. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
19. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
20. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
21. Пocледний бoй тоpepo альваро муньеры.
22. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
23. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
24. Mинтай можно без особого труда приготовить вкусно.
25. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
26. На заметку садоводам.
27. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
28. Как правильно подкармливать пионы чтобы они пышно цвели.
29. 28 kулинарных tohкостей на вec 3 олота.
30. Фиhики как лekapство от всего или 20 фактов о финиках.
31. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
32. Лучший способ хранения чеснока.
33. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
34. Начинайте готовить ягодные кустарники к холодам.
35. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
36. Красивые садовые дорожки своими руками.
37. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
38. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
39. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
40. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
41. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
42. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
43. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
44. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
45. Топ-10 бесплатных инструментов для веб-скраппинга: извлечение данных стало проще
46. Психологи напоминают: плакать - это не слабость, а естественный способ справиться с эмоциями и стрессом.
47. Можно ли заказывать с Amazon в Россию в 2025 году: последние обновления
48. Мы исправляем вытянувшуюся рассаду.
49. В Турции к кошкам относятся с особым трепетом и уважением - они здесь настоящие любимцы людей.
50. Полное руководство: как заказывать с Amazon в 2025 году