Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Я мopковь сею следующим образом.
2. Kaким рacтениям зoла не подходит.
3. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
4. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
5. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
6. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
7. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
8. Coветы для тoго, чтoбы получить крупную малину.
9. Ли польза в кoмпоте ecть?
10. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
11. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
12. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
13. Дaвно забытый peцепт из сссp.
14. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
15. Этот робот не просто убирает ваш дом - он его изучает.
16. Творожный чизкейк. Ингредиенты:
17. Лучший способ хранения чеснока.
18. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
19. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
20. Как понять, что тыква созрела?
21. Аптечка для ваших растений.
22. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
23. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
24. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
25. Знаете, зачем завязывают ботву чеснока в узел?
26. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
27. Топ-9 инструментов для веб-скраппинга в 2025 году: что нового и что лучше
28. Топ-15 лучших инструментов для веб-скраппинга в 2025 году
29. Упорные тренировки в зале сильно меняют девушек как внешне, так и внутренне.
30. Что делать, если желтеют кончики пера у лука.
31. Топ-15 мобильных прокси 2025 года: Рейтинг лучших сервисов
32. Подготовка девушек - футболисток к новому сезону - это сочетание выносливости, силы и точной дисциплины.
33. Топ-10 бесплатных прокси 2025 года: рейтинг и обзор
34. Высадка голубики - как правильно посадить и вырастить здоровую и вкусную ягоду.
35. Пирс броснан - известный актёр, а его жена кили Шэй Смит талантливая журналистка и активистка.
36. Как заказать товары из Amazon в Россию: полное руководство
37. Полное руководство: Как начать продавать на Amazon в 2025 году
38. Полное руководство: как начать продавать на Amazon и других платформах
39. Какие парки и скверы Москвы популярны для прогулок зимой
40. Интересные факты о Владивостоке, которые вы, возможно, не знали
41. Полное руководство: как делать заказ на Amazon в 2025 году
42. Какова история Собора Александра Невского в Йошкар-Оле
43. Пластиковый пакет в среднем 10-15 минут используется.
44. Расскажите о истории Красной площади и её значении для России
45. Как создать вирусный Instagram челлендж: советы и секреты
46. Какие культурные традиции делают Калужскую область привлекательной для жизни и туризма
47. Proxy-сервер: что это такое и зачем он нужен
48. Как приготовить вкусную перловку с мясом в духовке.
49. Золотая пропорция: как определить идеальные формы тела
50. Они провели для меня исследование продукта для Amazon FBA