Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
2. Твоё тело работает 24 часа в сутки без твоего участия.
3. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
4. Яблок много - вроде радоваться надо.
5. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
6. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
7. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
8. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
9. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
10. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
11. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
12. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
13. Что я делаю с чесноком, чтобы он снова стал зелёным.
14. С 1 сентября в России планируют обновить перечень медицинских специальностей.
15. Почему желтеет лук и чеснок и как быстро их "Оживить".
16. 10 худших цветов для дачи.
17. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
18. Священник стал маской, чтобы спасти детский приют и жизнь детей.
19. Kaк подкармливать перец для щедрого урожая.
20. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
21. Последний защитник брестской крепости.
22. 1941 год. Украина, первые месяцы оккупации.
23. Горсть миндаля в день может заметно улучшить состояние кожи.
24. Пepвая пoдкopмка рaccaды народными средствами.
25. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
26. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
27. Нашатырь можно как хорошую подкормку для лука использовать.
28. Mинтай можно без особого труда приготовить вкусно.
29. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
30. Натали вспомнила мужа: "третья новогодняя ночь без него.
31. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
32. Начинайте готовить ягодные кустарники к зимовке.
33. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
34. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
35. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
36. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
37. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
38. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
39. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
40. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
41. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
42. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
43. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
44. Топ-8 библиотек для веб-скраппинга на Python в 2025: что лучше выбрать
45. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
46. Откройте для себя лучшие 4G и мобильные прокси 2025 года: Топ-10 рейтинг
47. Лучшие Instagram-прокси 2025: полное руководство
48. Топ-8 Прокси для Instagram в 2025: Ускорите Свой Аккаунт
49. Как использовать прокси для социальных сетей и лучшие провайдеры в 2025 году
50. Топ-10 лучших прокси-серверов 2025 года: рейтинг и обзор