Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
2. Здоровый быт начинается с внимания к предметам, которые вас окружают.
3. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
4. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
5. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
6. Плитка из ведерка от майонеза: дачный шик своими руками.
7. Здравствуйте, участники сообщества!
8. Как буддийские монахи вышли на протест и столкнулись с полицией.
9. Почему обеспеченные люди реже приложения для знакомств выбирают.
10. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
11. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
12. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
13. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
14. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
15. Последний защитник брестской крепости.
16. Горсть миндаля в день может заметно улучшить состояние кожи.
17. Легенды мирового рока украсили фасады домов в елизаветино.
18. Все лето держу окна в доме отрытыми и не боюсь комаров.
19. Редкий секс с повышенным риском смертности и болезней сердца связан.
20. Oгурцы будете рaздавать всем coceдям.
21. Hикогда не ставьте забор обратной стороной к соседу!
22. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
23. Самый возрастной ветеран великой отечественной войны умер.
24. Нашатырь можно как хорошую подкормку для лука использовать.
25. Не у всех укроп растёт как сорняк, в огромных количествах.
26. Натали вспомнила мужа: "третья новогодняя ночь без него.
27. Замечательный закусочный торт из нежной куриной грудки!
28. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
29. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
30. Это закуска на любом застолье на ура уходит!
31. Зачем нам медный и железный купорос.
32. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
33. Секрет крупного озимого чеснока - простая подкормка при посадке!
34. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
35. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
36. Вкусный рецепт бургера с курочкой.
37. Чем подкормить клубнику в августе крупного урожая.
38. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
39. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
40. Полярное сияние возникает, когда высокоэнергетичные частицы солнечного ветра сталкиваются с верхними слоями земной атмосферы.
41. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.
42. Яблоня "Роялти" - это популярный сорт яблони, известный своими крупными, вкусными плодами и высокой урожайностью.
43. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
44. Топ-10 бесплатных прокси 2025 года: рейтинг и обзор
45. Растяжка часто остаётся в тени тренировок, но играет ключевую роль в здоровье тела.
46. Как заказать товары с Amazon в Россию: полное руководство
47. Инуиты - коренные жители Арктики, населяющие Гренландию, север Канады, Аляску и некоторые районы России.
48. Как быстро вырастить базилик?
49. Дождевая вода - это вода, которая выпадает из атмосферы в виде осадков, то есть дождя.
50. Тандыр - традиционная печь для приготовления пищи, широко использующаяся в центральной Азии и на ближнем Востоке.