Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Еда - это язык, который понимают все без единого слова.
2. Мы с мужем очень сильно поругались, решили разводиться.
3. Самые абсурдные законы мира, в которые сложно поверить.
4. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
5. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
6. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
7. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
8. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
9. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
10. Экзамен по философии сдавала.
11. Сделал тест днк на дочь - результат 0%.
12. В России временно разрешили производство бензина и дизеля более низких экологических классов.
13. Июнь - решающий месяц в борьбе с монилиозом в саду.
14. Моего кота зовут заяц.
15. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
16. Петербургские депутаты предложили изменить школьную программу полового воспитания.
17. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
18. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
19. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
20. Три народных средства для крепкой рассады томатов.
21. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
22. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
23. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
24. Чем подкормить рассаду перца для мощных корней.
25. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
26. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
27. Пoлезный чай для печени и жёлчного пузыря.
28. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
29. "Фишка моей внешности в том, что я родилась старой.
30. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
31. Ha 2-й день ещё вкycнее.
32. Heжеланные coceди для груши: с кем oна "не Дрyжит".
33. Уже давно делаю по этому рецепту!
34. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
35. Работа над настенной полкой своими руками успехом завершилась.
36. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
37. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
38. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
39. Пергола - это не просто арка или навес.
40. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
41. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
42. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
43. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
44. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
45. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
46. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
47. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.
48. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.
49. Топ-10 открытых веб-кравлеров 2025 года: выбор для каждого
50. Лучший инструмент для веб-скраппинга: как извлечь данные из интернета в 2025 году