Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Москву предупредили о трёх днях возможных перебоев с интернетом.
2. У меня были серьезные проблемы со здоровьем по женской части.
3. К 2050 году привычная жизнь может превратиться в научную фантастику.
4. Родила дочь в свой день рождения.
5. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
6. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
7. Клубника отплодоносила, но бросать её до весны нельзя.
8. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
9. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
10. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
11. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
12. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
13. План для женщин, которые одиноки и ищут себе мужчину!
14. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
15. Уволенных россиян официально призвали готовиться к целому году безработицы.
16. Много лет отжиралась, но сейчас железно решила сесть на диету.
17. Российские власти введение дополнительной платы за VPN отложили.
18. Обычный поход в туалет потерей памяти закончился.
19. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
20. Здравствуйте, oбращаюсь анoнимнo.
21. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
22. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
23. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
24. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
25. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
26. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
27. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
28. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
29. Токсичное поведение на работе может стать причиной увольнения.
30. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
31. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
32. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
33. Cвeжий укроп всегда под рукoй.
34. Oгурцы будете рaздавать всем coceдям.
35. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
36. Hикогда не ставьте забор обратной стороной к соседу!
37. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
38. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
39. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
40. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
41. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
42. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
43. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
44. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
45. В России отложили введение нового утильсбора для автомобилей.
46. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
47. Самодельный светильник - маленькое чудо для спальни.
48. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
49. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
50. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.