Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Топ - 7 наборов семян, которые должны быть у каждого!
2. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
3. Hикогда не ставьте забор обратной стороной к соседу!
4. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
5. Пoлезный чай для печени и жёлчного пузыря.
6. Блaгоприятные дни для пoceва однолетников 2026 году.
7. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
8. Не у всех укроп растёт как сорняк, в огромных количествах.
9. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
10. Рецепт плюшек: Ингредиенты для опары:
11. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
12. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
13. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
14. Мы применяем просроченные лекарства.
15. Многим из нас нравится замиокулькаса.
16. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
17. Моя соседка никак не могла продать дорогущий антикварный комод.
18. Ни один шашлычек у нас не обходят без этой закуски!
19. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
20. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
21. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
22. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
23. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
24. Создать овальные подносы можно легко, используя только свои руки.
25. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
26. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
27. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
28. Лето без арбуза и дыни - не лето!
29. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.
30. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.
31. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
32. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
33. Топ-10 бесплатных инструментов для веб-скраппинга: извлечение данных стало проще
34. Роза "Раубриттер" - это сорт чайно - гибридной розы, известный своей красивой формой и ароматом.
35. Высадка голубики - как правильно посадить и вырастить здоровую и вкусную ягоду.
36. Опасные растения для дачи!
37. Полное руководство: как делать заказ на Amazon в 2025 году
38. Какие бизнес-центры в Москве самые известные и какие компании там расположены
39. Лучшие прокси для Instagram 2025: полный обзор и рейтинг
40. Лучшие прокси-сервисы для арбитража 2025: рейтинг и обзор
41. Понимание Твоей Фигуры: 5 Основных Типов и Как Ими Пользоваться
42. ТОП 10 самых красивых женских фигур мира: Часть 1
43. Какие ночные клубы или бары работают в Орске
44. Какие парки и скверы популярны среди туристов
45. Секреты Amazon FBA: как найти выгодные товары для продажи в 2025 году
46. Лучшие товары для продажи на Amazon FBA: как добиться успеха в третьем квартале
47. Как найти победные товары для Amazon FBA: пошаговое руководство
48. Какие спортивные и активные виды отдыха доступны в парках Новосибирска
49. Лучшие мобильные прокси для Instagram ботов: как выбрать идеальное решение
50. Топ-5 альтернатив и конкурентов Infatica в 2025 году