Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Мастурбация у птиц абсолютно естественным поведением оказалась.
2. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
3. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
4. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
5. Завязей на томатах будет море, а фитофтора обойдёт стороной.
6. Почему желтеет лук и чеснок и как быстро их "Оживить".
7. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
8. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
9. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
10. Повеяло летом. Клубника рекорд установила.
11. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
12. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
13. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
14. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
15. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
16. Coветы для тoго, чтoбы получить крупную малину.
17. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
18. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
19. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
20. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
21. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
22. Что нужно знать о перце:
23. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
24. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
25. Многим из нас нравится замиокулькаса.
26. Вмecто тыcячи слов.
27. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
28. Россиян ожидает резкое повышение тарифов на электроэнергию.
29. Разбираемся как бороться с червяками на малине.
30. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
31. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
32. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
33. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
34. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
35. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
36. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
37. Вкусный рецепт бургера с курочкой.
38. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
39. Топ-11 выделенных прокси 2025: Надежные решения для ваших онлайн-нужд
40. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.
41. Топ-16 лучших прокси для Spotify в 2025 году
42. Как использовать публичные SOCKS5 прокси в Telegram
43. Бесплатные SOCKS5 прокси: список для США и Китая
44. Вот рецепт маринованных кабачков - отличная закуска, которая отлично подойдет к любому столу.
45. Построить дачный туалет своими руками - вполне реально, особенно если у вас есть строительный опыт или желание учиться.
46. Когда тренировка превращается в настоящее представление - парень не упускает шанса пошутить над подругой прямо в зале.
47. Интересные факты о Владивостоке, которые вы, возможно, не знали
48. Как сделать самим вкусную наливку.
49. Виды средств от клещей.
50. Какие улицы и площади Ростова-на-Дону считаются самыми красивыми и насыщенными историей