Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
2. Твоё тело работает 24 часа в сутки без твоего участия.
3. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
4. Сняли лук или ранний картофель и бросили голую грядку до весны?
5. Уже нет сил постоянно ругаться со свекровью.
6. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
7. Большинство крупнейших катастроф в мировой истории не были неизбежными.
8. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
9. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
10. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
11. Средства для подкормки помидоров.
12. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
13. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
14. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
15. Что я делаю с чесноком, чтобы он снова стал зелёным.
16. Завязей на томатах будет море, а фитофтора обойдёт стороной.
17. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
18. Мошенники фейковые сообщения от Telegram рассылают.
19. Опилки на грядках: бесплатное золото или яд для урожая?
20. Работа в кровати незаметно здоровье человека разрушает.
21. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
22. В России обсуждают усиление контроля переписок с помощью ИИ.
23. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
24. "Фишка моей внешности в том, что я родилась старой.
25. Пpoбовали caжать лук китaйским спocoбом?
26. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
27. Яблоки очень уникальный продукт.
28. Эта комната не подстраивается под свет - она управляет им в реальном времени.
29. Простое клубничное варенье.
30. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
31. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
32. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
33. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
34. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
35. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
36. Конечно! Вот классический рецепт варенья из яблок с апельсином:
37. Как избавиться от грызунов на даче простыми средствами.
38. Секрет крупного озимого чеснока - простая подкормка при посадке!
39. Создавать уют своими руками - значит делать интерьер уникальным.
40. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
41. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
42. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
43. Очень вкусная аджика на зиму!
44. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
45. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
46. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
47. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
48. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
49. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать
50. Топ-9 инструментов для веб-скраппинга в 2025 году: что нового и что лучше