Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
2. В нашей семье все склонны к полноте.
3. Я не худею к морю - езжу в Турцию.
4. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
5. План для женщин, которые одиноки и ищут себе мужчину!
6. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
7. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
8. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
9. Завязей на томатах будет море, а фитофтора обойдёт стороной.
10. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
11. Воля к жизни возможности человеческого тела превосходит.
12. Хитрости выращивания кабачков:
13. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
14. После того как рухнула советская власть, что сделали?
15. Кейсы в CS2 и паки Fifa предложили запретить в России.
16. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
17. Мне 19 лет.
18. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
19. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
20. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
21. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
22. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
23. Самый богатый бомж в мире!
24. Hacтойка, приготовленная по традиционному рецепту:
25. Не у всех укроп растёт как сорняк, в огромных количествах.
26. Стильное оформление квартиры.
27. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
28. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
29. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
30. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
31. Как правильно подкармливать пионы чтобы они пышно цвели.
32. Мы применяем просроченные лекарства.
33. Многим из нас нравится замиокулькаса.
34. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
35. И еxaть никуда не нaдо.
36. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
37. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
38. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
39. Полезная свекольная аджика на зиму.
40. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
41. Малосольные помидорки по-армянски.
42. 3 популярных сорта жимолости.
43. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
44. Топ-8 библиотек для веб-скраппинга на Python в 2025: что лучше выбрать
45. Топ-10 бесплатных инструментов для веб-скраппинга: извлечение данных стало проще
46. Топ-15 Бесплатных Резиденциальных Прокси-Серверов для 2025 Года
47. Почему гниет клубника на грядках и как этого избежать.
48. Топ-18 прокси для TikTok 2025: Работа, анонимность, доступ
49. Опасные растения для дачи!
50. Тренировка задолго до старта начинается.