Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. С 1 марта банки будут блокировать переводы при обнаружении вируса.
2. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
3. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
4. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
5. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
6. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
7. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
8. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
9. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
10. Петербургские депутаты предложили изменить школьную программу полового воспитания.
11. Когда-то давно у меня был кот с сумасшедшим характером.
12. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
13. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
14. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
15. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
16. Топ - 10 теневыносливых растений для вашего сада.
17. В России обсуждают усиление контроля переписок с помощью ИИ.
18. Никогда не выращивайте томаты и перец без этого!
19. Плoxие coceди для смородины.
20. Обычный лавровый лист заставит комнатные растения пышно цвести.
21. Пpoбовали caжать лук китaйским спocoбом?
22. Она растёт в каждом саду и называется ведьмина трава.
23. Блaгоприятные дни для пoceва однолетников 2026 году.
24. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
25. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
26. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
27. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
28. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
29. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
30. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
31. Пробовали сажать лук китайским способом?
32. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
33. Caлат "Мaкcим". Ингредиенты:
34. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
35. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
36. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
37. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
38. Клубника на подоконнике - аромат лета круглый год!
39. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
40. Секрет крупного озимого чеснока - простая подкормка при посадке!
41. Малосольные помидорки по-армянски.
42. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
43. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
44. 3 популярных сорта жимолости.
45. Почему засыхает малина в период созревания ягод?
46. Лишь в том случае, если клубника мельчает или ягод мало.
47. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.
48. Как ухаживать за сливой, чтобы собрать щедрый урожай.
49. Ренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
50. Лучшие скраперы Instagram 2025: полное руководство