Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Фиhики как лekapство от всего или 20 фактов о финиках.
2. Давайте мы приготовим вкуснейшую аджику из cлив.
3. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
4. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
5. Клубника на подоконнике - аромат лета круглый год!
6. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
7. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
8. Создавать своими руками - значит делать вещи особенными.
9. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
10. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
11. Топ-10 бесплатных веб-скрейперов 2025: выбор профессионалов
12. Лучшие инструменты для веб-скраппинга 2025: обзор лучших программ
13. Топ-7 инструментов для скрапинга Amazon в 2025 году: что выбрать
14. Какие исторические места Москвы связаны с наполеоновским вторжением
15. Топ-15 мобильных прокси 2025 года: Рейтинг лучших сервисов
16. Как выбрать идеального провайдера резидентных прокси-серверов для вашего бизнеса
17. Белки - очень активные создания, но даже у них есть время для отдыха.
18. Понимание того, когда созреют томаты, важно для своевременного сбора урожая.
19. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.
20. Тренировка задолго до старта начинается.
21. Среди ледяных просторов севера, где почти нет деревьев и зима длится большую часть года, живёт арктический волк.
22. Топ-15 прокси-серверов для Instagram 2025: Рейтинг лучших решений
23. Как сделать самим вкусную наливку.
24. Топ-10 лучших прокси-провайдеров 2025 года: Обзор и рейтинг
25. 7 пирогов, которые сделают полноценным любой ужин.
26. Эволюция идеала женской фигуры: как менялись стандарты красоты за последний век
27. Секреты идеальной фигуры: как модели сохраняют свою форму
28. Идеальная женская фигура 2025: как изменятся стандарты красоты
29. Как найти лучшего поставщика для ваших продуктов Amazon FBA
30. Как найти прибыльные товары для продажи на Amazon FBA: Полное руководство
31. Лучшие товары для продажи на Amazon FBA: как добиться успеха в третьем квартале
32. Как успешно продавать на Amazon: пошаговое руководство
33. Какие фестивали и праздники проводятся в Перми
34. Топ-13 статических резиденциальных прокси 2025 года: Надёжные и быстрые
35. Быстрый рыбный пирог.
36. Тecтo "Кaк пух".
37. "Мамино Печенье или Печенье за 10 Минут".
38. Арбитраж трафика с нуля в 2025 году: полное руководство для начинающих
39. Лeплю ваpeники только из этого тecта и вам cовeтую.
40. Арбитраж против криптовалюты: как достичь миллиарда к 2025 году
41. Подборка очень вкусных салатов: топ - 6 рецептов.
42. Unlocking the Power of Proxifier V3.42: Registration Keys Explained
43. Unlocking the Full Potential of Proxifier 4.12 with Crack and Registration Keys
44. Марина Девятова: Ульяновский художник, который оставил неизгладимый след в истории искусства
45. The Future of Web Scraping: Top 8 APIs to Watch in 2025
46. Unlocking the Power of Python and Proxy APIs for Data Scraping
47. The Top Instagram Bots to Watch in 2025
48. В качестве натуральной витаминной добавки очень хорошо принимать так называемую "Пасту Амосова".
49. How to Configure Proxy Settings for Instagram
50. Гацания - яркaя, словно бaбочка!